6.2 海量感知資料的挖掘與分析
如果把新型智慧型城市比作乙個人，物聯網是感官、移動網際網路是神經、雲計算是強健體魄和心臟、大資料是聰明的大腦。新型智慧型城市，如果離開資料採集、資料分析和資料的使用，智慧型就是空談。
一）、大資料技術是處理感知層資料的必然選擇
感知層是新型智慧型城市體系對現實世界進行感知、識別和資訊採集的基礎性物理網路，海量的資料在感知層產生。對於海量資料的處理不單是智慧型化的必然要求，同時也是對it投資的一種保護，否則非但不能充分挖掘資料的價值，還將為海量資料所累。
**資料探勘，要把安全行為進行智慧型分析，**資料自動理解，從而實現**資料自動壓縮，把pb資料壓縮下來，要推行智慧型裝置就要解決一些問題，例如人體異常行為檢測，異常事件檢測，這是公安部門最感興趣的。如果計算機能做，可以對目標進行跟蹤，這就是我們需要的，自動地對物體中的運動目標進行檢測、分離、跟蹤，對其行為進行有效識別，如果有了這個軟體，**資料就能充分利用，正常人的活動可以刪去，只把可疑的資料留下來。
二）、大資料是實現新型智慧型城市的核心要素
新型智慧型城市的建設帶來資料量的爆發式增長，而大資料就像血液一樣遍布智慧型交通、智慧型醫療、智慧型生活等新型智慧型城市建設的各個方面，城市管理正在從「經驗治理」轉向「科學治理」。
大資料為新型智慧型城市的各個領域提供強大的決策支援。在城市規劃方面，通過對城市地理、氣象等自然資訊和經濟、社會、文化、人口等人文社會資訊的挖掘，可以為城市規劃提供強大的決策支援，強化城市管理服務的科學性和前瞻性。
在交通管理方面，通過對道路交通資訊的實時挖掘，能有效緩解交通擁堵，並快速響應突發狀況，為城市交通的良性運轉提供科學的決策依據。
在輿情監控方面，通過網路關鍵詞搜尋及語義智慧型分析，能提高輿情分析的及時性、全面性，全面掌握社情民意，提高公共服務能力，應對網路突發的公共事件，打擊違法犯罪。在安防與防災領域，通過大資料的挖掘，可以及時發現人為或自然災害、恐怖事件，提高應急處理能力和安全防範能力。
大資料是新型智慧型城市各個領域都能夠實現「智慧型化」的關鍵性支撐技術，新型智慧型城市的建設離不開大資料。從**決策與服務，到人們衣食住行的生活方式，再到城市的產業布局和規劃，直到城市的運營和管理方式，大資料將遍布新型智慧型城市的方方面面，這些都將在大資料支撐下走向「智慧型化」。
6.2.1 海量資料的預處理
1、雜訊資料：指在資料中存在錯誤或者異常（偏離期望值）的資料。
不完整（incomplete）的資料是指資料中缺乏某些屬性值。
不一致的資料是指資料內涵出現不一致的情況（如作為關鍵字的同一部門編碼出現不同值）
2、資料清洗（data cleaning）：指消除資料中存在的雜訊以及糾正其不一致的錯誤，資料清洗還將刪掉重複的記錄行。
3、資料整合（data integration）：將來自多個資料來源的資料合併到一起構成乙個完整的資料集。
4、資料轉換（data transformation）：將一種格式的資料轉換為另一種格式的資料。
5、資料消減（規約）：通過刪除冗餘特徵或聚類消除多餘資料。目的是縮小所挖掘資料的規模，但卻不會影響（或基本不會影響）最終的挖掘效果。
現有的資料規約包括：資料聚合，如構造資料立方；消減維數：通過相關分析消除多餘屬性；資料壓縮，採用編碼方法來減少資料處理量；資料塊消減：
如利用聚類或引數模型替代原有資料。
6、python（計算機程式語言）：2023年度程式語言
ython[1]（英國發音：/paθn/ 美國發音：/paθɑn/）, 是一種物件導向的解釋型計算機程式語言，由荷蘭人guido van rossum於2023年發明，第乙個公開發行版發行於2023年。
python是純粹的自由軟體，源**和直譯器cpython遵循gpl(gnugeneral public license)協議。python語法簡潔清晰，特色之一是強制用空白符(white space)作為語句縮排。
python具有豐富和強大的庫。它常被暱稱為膠水語言，能夠把用其他語言製作的各種模組（尤其是c/c++）很輕鬆地聯結在一起。常見的一種應用情形是，使用python快速生成程式的原型（有時甚至是程式的最終介面），然後對其中有特別要求的部分，用更合適的語言改寫，比如3d遊戲中的圖形渲染模組，效能要求特別高，就可以用c/c++重寫，而後封裝為python可以呼叫的擴充套件類庫。
需要注意的是在您使用擴充套件類庫時可能需要考慮平台問題，某些可能不提供跨平台的實現。
7月20日，ieee發布2023年程式語言排行榜：python高居首位[2]。
2023年3月，該語言作者在郵件列表上宣布 python 2.7將於2023年1月1日終止支援。使用者如果想要在這個日期之後繼續得到與python 2.
7有關的支援，則需要付費給商業**商。[3]
資料探勘是從一堆資料中找出輸入與輸出之間的關係，然後根據新的輸入**輸出。簡單舉例：例如你有北京的房價資料，從1月到10月的，房子不同的面積對應不同的**。
現在到了11月，然後有一座100平公尺的房子，你覺得**應該是多少呢？ 這就是從以前的資料中挖掘出來輸入（面積）和輸出（**）的關係。
資料融合：假設現在你觀測乙個飛彈的飛行吧！從地面雷達a基站觀察到的飛行軌跡是一堆資料a，從衛星上雷達b基站觀察的資料是一堆資料b。
然後你想知道飛彈真實的軌跡，就把ab資料融合起來，求出真實的飛彈軌跡。
資料預處理：在主要的資料處理前進行的一些輔助處理。
8、什麼是知識？
知識是資訊接收者通過對資訊的提煉和推理而獲得得的正確結論;是人對自然世界、人類社會以及思維方式與運動規律的認識與掌握，是人的大腦通過思維重新組合和、系統化的資訊集合。
8、知識的表示依賴於邏輯，邏輯指具體的數理邏輯，由「命題演算」和「謂詞演算」兩部分組成。
謂詞的表示形式是p(x1, x2, …, xn),其中p是謂詞名稱，x1, x2, …, xn是個體。用為此邏輯表示某類知識時就可以利用上述形式，比如student（小明），就表示了「小明是學生」這樣乙個事實型的知識。在p(x1, x2, …, xn)中，如果xi（i=1,2，。。。
n）都是單個的個體常量，則它就可以成為一階謂詞。謂詞邏輯適合表示：一、事物的狀態、屬性、概念等實施性知識；二、事物間確定的因果關係，即規則。
「¬；」表示「非」
「∧」表示「與」
「∨」表示「或」
對於規則可以用蘊含（→）式表示，如：如果x則y表示為「x→y」
9、關聯：由兩個或者多個變數的取值之間存在某種規則性，就成為關聯。關聯可分為簡單關聯、時序關聯、因果關聯。
10、高頻：某一專案組出現的頻率相對於所有記錄而言，必須達到某一水平。一專案出現的頻率成為支援度（support）。
11、關聯規則：從高頻專案組產生關聯規則就是利用前一步驟的高頻k-專案組來產生規則。在最小信賴度的條件門檻下，若一規則所求得的信賴度滿足最小信賴度，稱此規則為關聯規則。
例如書中p165沃爾瑪案例而言。
二、案例
**大資料的相關技術和分析流程
第6章組織考核
非 組織的興起,深刻地影響和改造著傳統的 市場與社會之間的關係和結構。為了進一步研究非 組織的治理問題,有必要對其理論機理進行考究與梳理 非 組織治理理論的淵源主要來自於經濟 政治和管理學的包括 失靈理論 委託 理論 第三方管理理論以及 市場和志願部門相互依賴理論。辭海 中，治 有 治理 管理 秩序...
第6章資料處理
第6章資料處理 2 6.1概述 2 6.2詳細使用說明 2 6.2.1 資料備份 2 6.2.1.1資料綜合備份 2 6.2.1.2 資料檔案備份 3 6.2.1.3備份檔案讀取 5 6.2.1 日常資料處理 7 6.2.2.1流水處理 7 6.2.3 清理資訊 8 6.2.3.1 清理資訊維護 8...
第5章資料庫設計與ER模型第6章資料庫的儲存結構
5.1 基本內容分析 5.1.1 本章重要概念 1 dbs生存期及其7個階段的任務和工作，dbd過程的輸入和輸出。2 概念設計的重要性 主要步驟。邏輯設計階段的主要步驟。3 er模型的基本元素，屬性的分類，聯絡的元數 連通詞 基數。採用er方法的概念設計步驟。4 er模型到關係模型的轉換規則。採用e...