多維大資料平台設計方案0113 A

2022-12-01 13:12:04 字數 3910 閱讀 1942

大資料基礎平台承載了公安資料的管理,為上層公安應用提供資料支撐。

全文檢索引擎是分布式的全文檢索引擎,可提供對實體,關係,文件的全庫實時檢索。基於各類匯聚、整合形成的資料資源提供各類資料查詢應用,系統為提供實體、關係、檔案等全文查詢,將查詢結果的明細級資料的顯示,並不涉及具體資料型態的圖形化應用,相關應用可由各警種業務系統根據實戰需要自行研製。

通過輸入身份證、號碼、姓名、案件關鍵字等內容,實現海量資料的全要素檢索,系統將查詢結果明細資料的列表展示,其中涉密資料將進行脫敏展示。

系統為了便於檢索,建立動態電子檔案,實現資料匯聚實時動態更新,展示人員基本資訊、活動軌跡和各類關聯資訊。通過簡單要素查詢出多維度資訊,包括人員檔案、車輛資訊、出行資訊、軌跡資訊以及關係人關係等。

提供帶有複雜查詢條件的關鍵詞檢索,如:邏輯組合檢索(與、或、非)、通配檢索、同義詞查詢、漸進檢索、詞根檢索、關鍵詞檢索、分類檢索、二次檢索(漸進檢索或在結果中檢索)、時間段檢索、年齡檢索、姓名拼音檢索等多種專業檢索方式。

全文動態檔案查詢,提供基於全庫資料的實時、動態的完整檔案查詢

同時為了便於檢索,建立動態電子檔案,實現資料匯聚時實時動態更新,展示人員基本資訊、活動軌跡和各類關聯資訊。通過多維度展示人員檔案,包括基本資訊、車輛資訊、出行資訊、軌跡資訊等。

電子檔案的具體功能如下:

1)重點人電子檔案優化

傳統的重點人員電子檔案,僅實現了一人一檔,在可維護性、和內容動態關聯性方面存在缺陷,電子檔案再造,實現的是重點人員檔案庫、關聯內容庫等自動更新,並動態填充至電子檔案庫,可針對省部級、本級重點人員電子檔案進行人工、自動補充、糾錯、編輯實現動態實時更新,增強重點人員管控的實時性、動態性。

2)人員背景綜合分析

實現了家庭成員、社會背景、關係人網路、軌跡、從業等背景資訊的一攬子展現,結合動態的電子檔案系統、結合平台的其他檢索、分析功能,實現功能的高度融合、資訊的集中展示。

3)社會網路電子檔案集群

包括:對網咖通行、旅館同住、監管場所**間、涉案同夥等關聯人員的處理。

檔案頁面支援檢視實體,也支援檢視關係,客戶不止可以看到實體相關的屬性以及關聯實體和事件,也可以看到某關係的構成實體以及相關事件。

檔案同時也是乙個功能強大的文件庫,所有相關的資訊如屬性,**,**等多格式的文件都可以在這裡瀏覽並推送給別人,確保資訊傳遞及時,資料價值最大化。

在整合各類資料資源的基礎上,深入挖掘目標人員、通訊裝置、網路身份、交通工具之間的關聯關係,根據公安多年經驗戰法形成研判戰法集(演算法模型),讓海量資料之間產生社會化的複雜網路關係,構建深度社會關係網路,實現動態更新。同時,在此基礎上通過在案時間、分析團夥,重點人群體(如涉恐群體、涉毒群體)、線索摸排等進一步實現智慧型團夥發現和潛在關係挖掘(如吸毒人群自動發現販毒團夥,根據涉恐網路智慧型挖掘涉恐頭目等)

基於統一的時空座標體系,將重點人或群體目標車輛、通訊、人員軌跡等基於實體關係的關聯分析後,發現重大事件與重點人員活動時空的潛在關係和規律,實現多元軌跡的關係發現(如人和案件關聯、人和人及車輛關聯等)和特徵挖掘(如特殊時段、特殊地點的目標人員行為異常等),為情報人員提供智慧型化綜合情報支援,從而有針對性的進行警力分布調配和預警。

涉毒人員的行為軌跡一般呈現「有去無回」的特性,通過比對分析人員出行和返回的軌跡,可以發現經常前往某地但是無返回軌跡的異常人員,經過人工確認後進入異常人員行為布控。

提供通過已知車輛(犯罪嫌疑車輛或受害車輛)的號牌資訊和案發前後時間段自動分析案件干係車輛的功能,常用於根據犯罪嫌疑車輛找尋同夥車輛或者根據受害車輛找尋犯罪嫌疑車輛。

提供對於轄區內車輛晝夜頻次異常分析功能,在後台依據聯網卡口車輛通行資料對於夜間頻繁出現,白天很少出現的車輛進行自動記錄,經過人工確認後,進入異常行為車輛布控庫。

提供重點區域周邊車輛徘徊異常行為分析功能,在後台依據聯網卡口車輛通行資料對於短時內(一天內)指定重點區域附近的通行車輛資料進行分析,分析出經常在該區域反覆出現的嫌疑車輛資訊,經過人工確認後,進入異常行為車輛布控庫。

通過對不同實體軌跡的分析,可進一步的碰撞多個不同實體的軌跡,發現不同實體間軌跡的交集。

例如通過車輛活動軌跡分析功能,支援使用者指定車輛號牌以及時間段內,依據聯網卡口車輛通行資料進行車輛行駛軌跡計算,並分析出車輛的活動範圍的功能,基於此功能可以實現多車輛動態軌跡的碰撞,結果在gis上展示。

支援三大運營商話單格式直接匯入,支援通過時間篩選以及多級下鑽關聯,支援多個實體的聯絡人碰撞以及軌跡碰撞。

從話單中自動提取出所有**號碼、姓名等作為實體,並與大資料平台中其他資料來源進行關聯,查詢出實體的360°檔案,包括基本資訊、戶籍資訊、住址等。

通過話單分析,可以自動將話單中的聯絡人提取出關係網,並將話單關係網以合併入整個實體的關係圖,為360°研判分析提供支撐。在研判平台上可以進一步的進行關係人、事件的分析、挖掘、碰撞。

提取出話單中的通話事件與地理位置資訊,自動將話單中通話事件的地點資訊與pgis整合,將所有通話事件以時空方式顯示在pgis中,便於民警人工分析研判以及通過軌跡戰法進行自動研判。

將傳統的結構化資料與公安機關大量收集的警情等非結構化資料進行統一的再結構化處理,實現結構化資料(如車輛軌跡、聯絡歷史)與非結構化資料(如報警文字、舉報線索等)的自動關聯,為情報人員提供研判支撐。

通過大資料業務平台初步實現半結構化資料(如文字資料等)根據屬性結構化處理(**、**、語音需額外中介軟體進行結構化處理),實現通過結構化資料和非結構化資料中的人事關聯、人人關聯、人案關聯,為符合重點人、重大事、案件串並、軌跡分析和專題情報等業務提供研判支撐。

文字分析是針對系統中的非結構化的文字資訊提供資訊處理與分析服務,包括兩部分功能,一是將非結構化的文字資訊進行結構化處理,使得文字資訊可以像結構化資訊一樣進行查詢、比對、統計、檢索、展示操作,二是針對結構化後的資訊,提供關聯分析和挖掘功能,如分類聚類分析、關聯分析等。

利用自然語言,自動從案情資料中提取人、地、事物、車、**等實體關係。在通用切詞庫的基礎上,結合警情語義,不斷完善適用於警情的切詞庫,提高關係提取準確度。

以全文檢索,模糊查詢為基礎的線索挖掘。根據案件型別建立不同的主題庫,以高速搶劫案為例:搜尋「高速公路」+「搶劫」,發現若干事件與接出警資訊,在某接出警資訊中了解到嫌犯戴有棒球帽或身上有某紋身,在搜尋條件中增加此兩線索,再次搜尋,不斷迴圈這一過程,得到串併案最全資訊。

資料整合形成資源池後,建立一套全面資料服務體系。對資料進行資源分類管理,可以向各單位提供資料服務,資料服務主要包括:應用服務、介面服務(soa)、資料推送服務及資料訂閱與**服務。

將資料當成一種資源進行全面的台賬式管理,包括對資源進行分類、多維檢索、統計分析以及元資料管理等。

對匯集庫的資料進行分類管理,將相同型別的資料歸類到相同的主題下,方便對資料的檢索。

以多維度形式,提供靈活、可自定義的資源屬性資訊展示面板。支援動態新增、刪減查詢條件和資源屬性。支援個性化設定頁面展示資訊,使使用者可快速、便捷的獲取自己所關注的資料資源資訊。

1) 資料匯入

支援excel資料的匯入,同時對匯入過程實現全程監控,能夠有詳細的日誌記錄每一批次的匯入情況(如成功匯入行數、失敗行數等)。

2) 資料匯出

支援資料匯出到excel。

3) 資料查詢

提供統一的資料查詢和結果展示視窗實現對符合使用者訪問許可權的資料資源的快速查詢與訪問。

4) 函式操作

支援類似關係型資料庫的命令函式,如資料處理函式、日期處理函式、條件處理函式、字串處理函式等,以滿足不同的資料使用者對於資料的個性化要求。

傳統的檢索查詢應用對檢索結果只是資源資料的簡單羅列,通用性應用可針對某一通用需求,提供全面的資訊,實現各類資訊的綜合查詢、關聯分析與深度分析,解決了檢索結果由資料往需求的轉化問題。

專題應用服務與通用應用服務一樣,區別在與專題應用服務是針對某一特定的專題而構建的應用模型。

資料推送服務是通過資料建模工具,建成資料模型。模型運算結果可以將結果集資料推送到其他資料庫,如oracle、mysql等。實現資料平台庫與業務庫的之間的資料直接對接。

資料使用單位可以對有關資料進行訂閱。訂閱後可檢視訂閱資料的抽取時間、最後更新時間、今日資料增量、總資料量等資訊

使用者經平台審核後,可以**該平台的資料,並對**的資料進行全面監控。

類聚大資料 「類聚NLP分詞系統」設計方案

新聞稿山東我行 類聚nlp分詞系統 設計方案 本網訊近日,山東我行資訊科技 委託省級科技查新諮詢單位對公司自行研發的 類聚nlp分詞系統 進行兩項科技查新,科技查新機構給出的查新結果為 經檢索,目前國內未見有與本專案查新點相同的文獻報道 該查新結果說明 類聚nlp分詞系統 達到國內先進水平。類聚nl...

卸料平台設計方案

工程名稱 高州市永盛綠洲住宅小區2号棟本工程位於高州市文筆三區龍塘嶺,由投資高州市祥盛房地產 興建。此工程為民業建築,建築面積約7241m2,框架13層,樓層總高度41.1m。1 建築施工扣件式鋼管腳手架安全技術規範 jgj 130 2001,2002年版 2 建築施工高處作業安全技術規範 jgj ...

卸料鋼平台設計方案

為確保a樓 b樓 c樓主體結構施工進度,a樓擬安裝兩個卸料鋼平台,b樓擬安裝兩個卸料鋼平台,c樓擬安裝兩個卸料鋼平台。一 鋼平台設計 鋼平台主梁為 16,次梁 12,鋼平台外側三面焊 48鋼管欄杆,高1050。鋼平台具體尺寸如圖所示。二 鋼平台計算 1 荷載計算 鋼平台自重 48鋼管 3.84 14...