雲計算的關鍵技術 資料儲存技術 資料管理技術 程式設計模型

2022-11-19 21:00:04 字數 3450 閱讀 2247

雲計算的關鍵技術(資料儲存技術、 資料管理技術、程式設計模型)

雲計算系統運用了許多技術,其中以程式設計模型、資料管理技術、資料儲存技術、虛擬化技術、雲計算平台管理技術最為關鍵。

1.1 程式設計模型

mapreduce是google開發的j**a、python、c++程式設計模型,它是一種簡化的分布式程式設計模型和高效的任務排程模型,用於大規模資料集(大於1tb)的並行運算。嚴格的程式設計模型使雲計算環境下的程式設計十分簡單。mapreduce模式的思想是將要執行的問題分解成map(對映)和reduce(化簡)的方式,先通過map程式將資料切割成不相關的區塊,分配(排程)給大量計算機處理,達到分布式運算的效果,再通過reduce程式將結果彙整輸出。

海量資料分布儲存技術雲計算系統由大量伺服器組成,同時為大量使用者服務,因此雲計算系統採用分布式儲存的方式儲存資料,用冗餘儲存的方式保證資料的可靠性。。 gfs即google檔案系統(google file system),是乙個可擴充套件的分布式檔案系統,用於大型的、分布式的、對大量資料進行訪問的應用。gfs的設計思想不同於傳統的檔案系統,是針對大規模資料處理和google應用特性而設計的。

它執行於廉價的普通硬體上,但可以提供容錯功能。它可以給大量的使用者提供總體效能較高的服務。

乙個gfs集群由乙個主伺服器(master)和大量的塊伺服器(chunkserver)構成,並被許多客戶(client)訪問。主伺服器儲存檔案系統所以的元資料,包括名字空間、訪問控制資訊、從檔案到塊的對映以及塊的當前位置。它也控制系統範圍的活動,如塊租約(lease)管理,孤兒塊的垃圾收集,塊伺服器間的塊遷移。

主伺服器定期通過heartbeat訊息與每乙個塊伺服器通訊,給塊伺服器傳遞指令並收集它的狀態。gfs中的檔案被切分為64mb的塊並以冗餘儲存,每份資料在系統中儲存3個以上備份。

客戶與主伺服器的交換只限於對元資料的操作,所有資料方面的通訊都直接和塊伺服器聯絡,這大大提高了系統的效率,防止主伺服器負載過重。

海量資料管理技術

瑭錦雲計算需要對分布的、海量的資料進行處理、分析,因此,資料管理技術必需能夠高效的管理大量的資料。雲計算系統中的資料管理技術主要是google的bt(bigtable)資料管理技術和hadoop團隊開發的開源資料管理模組hbase。

bt是建立在gfs, scheduler, lock service和mapreduce之上的乙個大型的分布式資料庫,與傳統的關聯式資料庫不同,它把所有資料都作為物件來處理,形成乙個巨大的**,用來分布儲存

大規模結構化資料。

google的很多專案使用bt來儲存資料,包括網頁查詢,google earth和google金融。這些應用程式對bt的要求各不相同:資料大小(從url到網頁到衛星圖象)不同,反應速度不同(從後端的大批處理到實時資料服務)。

對於不同的要求,bt都成功的提供了靈活高效的服務。

虛擬化技術通過虛擬化技術可實現軟體應用與底層硬體相隔離,它包括將單個資源劃分成多個虛擬資源的裂分模式,也包括將多個資源整合成乙個虛擬資源的聚合模式。虛擬化技術根據物件可分成儲存虛擬化、計算虛擬化、網路虛擬化等,計算虛擬化又分為系統級虛擬化、應用級虛擬化和桌面虛擬化。

雲計算平台管理技術雲計算資源規模龐大,伺服器數量眾多並分布在不同的地點,同時執行著數百種應用,如何有效的管理這些伺服器,保證整個系統提供不間斷的服務是巨大的挑戰。雲計算系統的平台管理技術能夠使大量的伺服器協同工作,方便的進行業務部署和開通,快速發現和恢復系統故障,通過自動化、智慧型化的手段實現大規模系統的可靠運營。

1.2 雲計算與傳統超級計算技術、網格技術的區別一家票務公司要銷售滾石樂隊的告別演出門票,it部門經理擔心,開始網上售票後,公司的伺服器和軟體會不會不堪重負?但實際上該公司並沒有增加數十個伺服器和儲存系統,有關it人員只是擰開開關,將公司的骨幹網與乙個「網格」相聯。

結果公司在3分鐘內銷售了90萬張門票,沒有乙個顧客因系統處理能力不足而被拒之門外。 上述情景並非可望而不可及。網格作為一種能帶來巨大處理、儲存能力和其他it資源的新型網路,可以應付臨時之用。

網格計算通過共享網路將不同地點的大量計算機相聯,從而形成虛擬的超級計算機,將各處計算機的多餘處理器能力合在一起,可為研究和其他資料集中應用提供巨大的處理能力。有了網格計算,那些沒有能力購買價值數百萬美元的超級計算機的機構,也能利用其巨大的計算能力。 20世紀後半期,全世界範圍掀起第三次產業革命的浪潮,人類開始邁入後工業社會——資訊社會。

在資訊經濟時代,其先進生產力及科技發展的標誌就是計算技術。時至今日,計算科學,尤其是以超級計算機(或高效能計算機)為基礎的計算科學已經與理論研究、實驗科學相並列,成為現代科學的三大支柱之一。 現代超級計算基於先進的集群技術構建,即常說的網格計算技術。

網格計算是伴隨著網際網路發展起來的,專門針對複雜科學計算的新型計算模式。這種計算模式利用網際網路把分散在不同

同地理位置的電腦組織成乙個虛擬的「超級計算機」,其中每一台參與計算的計算機就是乙個「節點」,而整個計算是由成千上萬個「節點」組成的「一張網格」,所以稱之為網格計算。這種「超級計算機」有兩個優勢,乙個是資料處理能力超強,另乙個是能充分利用網上的閒置處理能力。實際上,網格計算是分布式計算的一種。

需要說明的是,網格計算是一種傳統的、更加專業化的定義方式,而超級計算則是更加通俗化的概念。兩者從本質上是一致的。

超級計算中心(即超算中心)是指基於超級計算機系統對外提供計算資源、儲存資源以及技術諮詢等服務的機構或單位。瑭錦超級計算在乙個國家的發展中,特別是一些尖端科技的發展中,發揮著不可替代的作用,生物科技、石油勘探、氣象預報、國防技術、工業設計、城市規劃等經濟、社會發展的關鍵領域都離不開超級計算。各個國家,尤其是經濟、科技水平比較發達的國家,都把促進超級計算的發展作為重要的規劃內容。

超級計算與雲計算如本刊前文所述,雲計算是一種將全球範疇、高度可擴充套件、靈活的服務通過網際網路進行發布與消費,採取按需求和實際使用付費的商業模式。雲計算代表著全新的價值:它可以讓企業獲得高度可擴充套件和靈活的網際網路服務;saas的瘦客戶端應用減輕了軟體的採購和維護成本;所有的功能都以服務的方式提供給使用者。

雲計算是從網格計算演化而來,能夠隨需應變地提供資源。網格計算可以在雲中,也可能不在,這取決於什麼樣的使用者在使用它。如果使用者是系統管理員和整合商,他們就會關心如何維護雲,如公升級、安裝和虛擬化伺服器與應用程式等;如果使用者是消費者,就不必關心系統是如何執行的。

網格計算與雲計算有很多相似之處,兩者都能夠被看成是分布式計算所衍生出來的概念,都是為了讓it資源能夠對使用者透明,為了讓it資源能夠達到更好的使用率。從這個提高資源利用率的角度出發,逐漸誕生了web服務的概念。網路公司通過部署數以萬計的伺服器構成龐大的計算資源,得以提供此前無法完成的新服務。

企業或者個人能夠通過網際網路利用那些大網路公司所釋放出來的計算資源,進行應用部署或者向外提供服務。這就是從網格計算到雲計算的歷史過程。網格計算和雲計算的意義就在於:

無論是使用者還是企業開發者,都能夠通過網際網路來獲得資料或者進行計算,儘管本地資源有限,但是能夠通過網路進行複雜的運算,其資料的計算過程對於使用者來說就像網際網路網路對於本地網路使用者一樣。

超級計算與雲計算的相同點從定義上來說,網格計算和雲計算都試圖將各種it資源看成乙個可以對外提供相應服務的虛擬資源池。

雲計算試圖讓「使用者透明地使用資源」,而網格計算誕生的初衷就是「使用it資源像使用水電一樣簡單」。

技術資料複核制度

安康至平利高速公路第ap1合同段 k3 817 k8 600 中國中鐵 編制審核 中鐵港航局 集團 三公司 安平高速公路第ap1合同段專案經理部 2014年1月 一 技術資料複核制度的目的 為了避免在施工過程中發生差錯,保證工程質量,對重要的和涉及安平1標專案部的工程技術工作,必須依據設計和有關技術...

鑽具技術資料和知識

1 鑽具的種類 鑽桿 鑽鋌 螺旋鑽鋌 加重鑽桿 方鑽桿 2 鑽桿接頭分級和扭矩 外螺紋接頭的抗扭強度主要取決於內徑大小,而內螺紋接頭的抗扭強度則取決於外徑大小 iu 內加厚 eu 外加厚 ieu 內外加厚 3 鑽鋌分級和扭矩 4 加重鑽桿 5 方鑽桿 6 管體 接頭 焊區組成乙個完整鑽桿 各鋼極管體...

專案方案 技術資料總體描述

本附件描述的內容分為三部分 1 340連軋管生產線及工藝簡述 2 340連軋管生產線物料跟蹤監控系統目標和設計開發總體內容 3 功能資訊配置。340連軋管生產線是熱軋中 大口徑無縫鋼管的專業生產線,設計年生產各類無縫鋼管50萬噸,採用的原料為連鑄園管坯。整個生產線由管坯準備區 熱軋區 預精整區 一般...