目錄1 概述 5
1.1 大資料及大資料技術 5
1.2 引入大資料的意義 5
1.3 術語、定義和縮略語 5
2 大資料技術的引入 6
2.1 傳統資料倉儲資料特徵 7
2.2 大資料技術應用場景 8
2.3 hadoop與mpp與傳統資料庫技術對比與適用場景 8
3 hadoop實施指導意見 9
3.1 應用場景 9
3.2 前期方案設計階段的建議 10
3.2.1 對hadoop軟體選擇的建議 10
3.2.2 所需硬體裝置建議 13
3.2.3 組網方式建議 15
3.2.4 規劃節點規模時需要考慮的因素 18
3.3 建設過程中的建議 19
3.3.1 對壓縮的考慮 19
3.3.2 hbase設計 20
3.3.3 引數設定建議 21
3.3.4 系統調優 26
3.3.5 上線前注意事項 31
3.3.6 上線後效果評估 32
3.4 運維階段的建議 32
3.4.1 任務排程 33
3.4.2 監控管理 33
3.4.3 告警管理 34
3.4.4 部署管理 34
3.4.5 配置管理 34
3.4.6 安全管理 34
3.4.7 日誌管理 35
3.5 組織和培訓建議 35
3.5.1 人員安排建議 36
3.5.2 培訓建議 36
4 mpp資料庫指導意見 37
4.1 應用場景 37
4.1.1 資料集市 37
4.1.2 資料分級儲存（歷史庫或者明細庫） 37
4.1.3 etl 38
4.1.4 小結 39
4.2 前期方案設計階段的建議 39
4.2.1 軟體平台選型建議 39
4.2.2 容量評估方法建議 41
4.2.3 網路評估方法建議 41
4.3 建設過程中的建議 42
4.3.1 資料分布規劃 42
4.3.2 故障與恢復策略規劃 44
4.4 運維階段的建議 45
4.4.1 系統監控 45
4.4.2 告警管理 45
4.4.3 sql監控 46
4.4.4 備份恢復 46
4.4.5 安全及許可權控制 46
4.4.6 擴容及資料重分布 46
4.4.7 開發工具 47
4.5 組織和培訓建議 47
5 系統整合建議 47
5.1 資料互通的建議 48
5.1.1 方式分析 48
5.1.2 技術實現 48
5.2 統一管理 49
5.3 透明訪問 50
6 附錄a-大資料技術介紹 51
6.1 hadoop及生態圈 51
6.1.1 hadoop 簡介 51
6.1.2 hadoop生態圈系統 58
6.1.3 hadoop1.0 特性 60
6.1.4 hadoop2.0 特性 61
6.1.5 hadoop選型 63
6.1.6 hadoop ha 方案對比 64
6.2 mpp資料庫 67
6.2.1 資料庫架構風格 67
6.2.2 mpp資料庫基本架構 68
6.2.3 mpp資料庫主要執行機制 69
6.2.4 mpp平台技術規範和要點 70
6.3 x86伺服器平台 71
6.4 網路 72
6.4.1 infiniband 72
6.4.2 萬兆網 75
6.4.3 千兆網 76
6.4.4 適用場景 76
6.5 硬碟 77
6.5.1 硬碟型別介紹 77
6.5.2 硬碟比較分析 77
6.5.3 硬碟選購建議 78
6.6 虛擬化 79
6.6.1 概念 79
6.6.2 虛擬化技術介紹 80
6.6.3 適用場景 80
大資料（big data）的定義眾說紛紜，從技術講上它通常具備資料量大(volume)、資料型別多（variety）和資料處理和響應速度快（velocity）的特徵。麥肯錫定義大資料為超過了常規資料庫軟體所能蒐集/儲存/管理和分析的規模的資料集。大資料處理技術可以認為是處理大資料以便從中獲取價值的技術。
大資料及其技術正在影響著it產業，利用hadoop和關聯式資料庫混搭來解決大資料難題是當前通常採用的方法。
引入原則
1、先增量後存量。現有的資料處理系統引入大資料處理技術，面臨著模型改造、流程改造等一系列的問題，可以首先在新上線應用引入大資料處理技術。
2、先邊緣後核心。對於原有功能的遷移，可以先遷移非關鍵的應用。這些應用不涉及到關鍵生產任務，可以忍受資料處理延遲和故障修復時間較高等可能出現的風險。
3、先簡單後複雜。資料處理邏輯較簡單的應用也可以首先嘗試引入大資料處理技術，降低實施的複雜度，積累運維經驗。
通過在大資料處理技術的規劃、實施及運維過程中積累經驗及教訓，不斷提公升和完善大資料技術的應用水平，逐步拓展大資料技術應用領域。
模型製作材料相關知識對比介紹
製作模型的材料有有機玻璃 亞克力板 和石英玻璃，今天我們主要是對這兩種模型製作材料進行對比介紹。1 有機玻璃 聚甲基丙烯酸甲酯通常稱做有機玻璃，英文縮寫pmma,具有高透明度，低 易於機械加工等優點，是平常經常使用的玻璃替代材料。有機玻璃是開發較早的一種重要熱塑性塑料，具有透明性 穩定性和耐候性，易...
網路監控系統與傳統技術對比
對比內容 整體對比 同尊ip監控系統dvr dvs解決方案 1 高畫質 網路 智慧型 融合是未來 監控系統的發展方1 模擬 監控市場魚龍混雜，由於技術門檻低，小廠商品牌林立，向。未來的 控系統，必定是以高畫質 網路為基礎的，註冊的 監控產品品牌有上萬家，多數不知名品牌採用小作坊與多安防系統融合的智慧...
扭矩測試的幾種方法對比及概念介紹
緊韌體扭矩測試方法 拆車 殘餘扭矩值是再繼續擰緊螺栓 螺母時旋緊乙個小角度測得的最小扭矩值。起動扭矩不能作為殘餘扭矩。動態扭矩 當緊韌體再被固定的過程中測量得到的最大峰值。扭力扳手和動力工具都可以施加動態扭矩，動態扭矩不能在緊韌體被緊固完之後測量。動態扭矩載入時進行 測量得到的扭矩值。靜態扭矩 在乙...