雲計算的五大核心技術

newmaker

雲計算系統運用了很多技術，其中以程式設計模型、資料治理技術、資料儲存技術、虛擬化技術、雲計算平台治理技術最為關鍵。

1)程式設計模型

mapreduce是google開發的j**a、python、c++程式設計模型，它是一種簡化的分布式程式設計模型和高效的任務排程模型，用於大規模資料集（大於1tb）的並行運算。嚴格的程式設計模型使雲計算環境下的程式設計十分簡單。mapreduce模式的思想是將要執行的題目分解成map(對映)和reduce(化簡)的方式，先通過map程式將資料切割成不相關的區塊，分配（排程）給大量計算機處理，達到分布式運算的效果，再通過reduce程式將結果彙整輸出。

2)海量資料分布儲存技術

雲計算系統由大量伺服器組成，同時為大量使用者服務，因此雲計算系統採用分布式儲存的方式儲存資料，用冗餘儲存的方式保證資料的可靠性。。

gfs即google檔案系統（google file system），是乙個可擴充套件的分布式檔案系統，用於大型的、分布式的、對大量資料進行訪問的應用。gfs的設計思想不同於傳統的檔案系統，是針對大規模資料處理和google應用特性而設計的。它執行於廉價的普通硬體上，但可以提供容錯功能。

它可以給大量的使用者提供總體效能較高的服務。

乙個gfs集群由乙個主伺服器（master）和大量的塊伺服器(chunkserver)構成，並被很多客戶（client）訪問。主伺服器儲存檔案系統所以的元資料，包括名字空間、訪問控制資訊、從檔案到塊的對映以及塊確當前位置。它也控制系統範圍的活動，如塊租約（lease）治理，孤兒塊的垃圾收集，塊伺服器間的塊遷移。

主伺服器定期通過heartbeat訊息與每乙個塊伺服器通訊，給塊伺服器傳遞指令並收集它的狀態。gfs中的檔案被切分為64mb的塊並以冗餘儲存，每份資料在系統中儲存3個以上備份。

客戶與主伺服器的交換只限於對元資料的操縱，所有資料方面的通訊都直接和塊伺服器聯絡，這大大進步了系統的效率，防止主伺服器負載過重。

3)海量資料治理技術

雲計算需要對分布的、海量的資料進行處理、分析，因此，資料治理技術必須能夠高效的治理大量的資料。雲計算系統中的資料治理技術主要是google的bt(bigtable)資料治理技術和hadoop團隊開發的開源資料治理模組hbase。

bt是建立在gfs, scheduler, lock service和mapreduce之上的乙個大型的分布式資料庫，與傳統的關聯式資料庫不同，它把所有資料都作為物件來處理，形成乙個巨大的**，用來分布儲存大規模結構化資料。

google的很多專案使用bt來儲存資料，包括網頁查詢，google earth和google金融。這些應用程式對bt的要求各不相同：資料大小（從url到網頁到衛星圖象）不同，反應速度不同（從後真個大批處理到實時資料服務）。

對於不同的要求，bt都成功的提供了靈活高效的服務。

（4）虛擬化技術

通過虛擬化技術可實現軟體應用與底層硬體相隔離，它包括將單個資源劃分成多個虛擬資源的裂分模式，也包括將多個資源整合成乙個虛擬資源的聚合模式。虛擬化技術根據物件可分成儲存虛擬化、計算虛擬化、網路虛擬化等，計算虛擬化又分為系統級虛擬化、應用級虛擬化和桌面虛擬化。

（5）雲計算平台治理技術

雲計算資源規模龐大，伺服器數目眾多並分布在不同的地點，同時執行著數百種應用，如何有效的治理這些伺服器，保證整個系統提供不中斷的服務是巨大的挑戰。

雲計算系統的平台治理技術能夠使大量的伺服器協同工作，方便的進行業務部署和開通，快速發現和恢復系統故障，通過自動化、智慧型化的手段實現大規模系統的可靠運營。(end)

雲計算的五大核心技術

五大核心工具培訓簡介

奧普整合灶七大核心技術大揭秘

閥門洩露的五大應對技術方法

雲計算的五大核心技術

五大核心工具培訓簡介

奧普整合灶七大核心技術大揭秘

閥門洩露的五大應對技術方法

相關推薦