EMC Data Domain架構體系

2022-10-13 21:03:03 字數 2441 閱讀 9162

本文將會介紹emc data domain資料堅不可摧架構(data invulnerability architecture)。

sisl的定義:

emc data domain基於sisl,它的全稱是stream-informed segment layout(sisl),它使得emc data domain實現了內聯的資料消重技術,使用fingerprint和ram來定義磁碟上的segment,避免了為了檢查磁碟上的segment而出現的繁重的磁碟讀操作。

1.為了檢查fingerprint處理了98%的segment而不要求讀磁碟。在資料被寫入磁碟之前,98%的重複的segment在ram中就被標識。

2.使用更新更快的cpu和ram來擴充data domain系統,隨著cpu效能的提公升,直接增加新資料處理吞吐率

3.通過減少磁碟訪問,減少磁碟損耗。

基礎術語:

segment(圖中箭頭1):在dd系統裡資料被切割成資料段。

fingerprint(圖中箭頭2):每個segment都有乙個fingerprint id(segment id)。

filter(圖中箭頭3):對ram中的fingerprint做判斷。假如fingerprint id是新的,則繼續,假如fingerprint id是重複的,參考,則刪除。

compress(圖中箭頭4):使用通用壓縮技術對新的segment組做壓縮。

write(圖中箭頭5):把segment(包括fingerprint,metadata和log)寫入container,再把container寫入磁碟。

資料堅不可摧架構(data invulnerability architecture)的定義:

data domain作業系統(dd os)是為資料保護而建的。dia架構是重要的emc data domain技術,提供安全可靠的儲存,它包括4種技術:端到端驗證、故障避免和遏制、持續的故障監測和**、檔案系統恢復。

dia提供資料完整性、可恢復性和磁碟保護,實現資料安全。下面重點介紹下這4種技術。

資料堅不可摧架構(data invulnerability architecture)的端到端驗證:

端到端驗證技術檢查所有的檔案系統資料和元資料,它的基本流程是:

1.備份軟體產生寫資料請求;

2.分析資料重複性;

3.儲存新的資料segment;

4.儲存校驗和(checksum);

5.在發生備份i/o之後,dd os驗證它可以從磁碟上通過dd檔案系統讀取這些資料;

6.驗證讀取到的校驗和與備份時寫入磁碟的校驗和一致。

如果流程中發生錯誤,dd通過自我**和系統警告再次備份。由於儲存系統上的任何部分都可能產生錯誤,端到端驗證能容易地確保資料完整性。端到端驗證意味著寫入後再讀取資料,並把它和傳送給磁碟的資料作比較,證明資料可通過檔案系統和磁碟進行訪問。

資料堅不可摧架構(data invulnerability architecture)的故障避免和遏制:

data domain系統具備乙個特製的日誌結構的檔案系統,它的特質包括:

1.新資料從不覆蓋好的資料,dd系統從不把已經備份好的資料至於危險之中。傳統的檔案系統常常在資料發生變化時覆蓋老的資料塊,並繼續使用老的資料塊位址。

dd檔案系統只把資料寫入新的資料塊,分離了由於不正常的資料覆蓋造成老資料塊損壞的可能性。如圖所示,data container log從不覆蓋或者更新老的資料塊。新資料都寫入到新的container。

2.幾乎沒有複雜的資料結構。在傳統的檔案系統中,有許多的資料結構(例如:

空閒資料塊點陣圖和參考數)支援快速資料塊更新。對於備份軟體,系統開銷主要是新資料的順序寫入。而data domain系統比較簡單,它只需很少的資料結構,來記錄data container log頭部的資訊。

這種設計極大的降低了由於軟體問題導致的資料損毀。

系統包含不揮發的記憶體(nvram),nvram的寫快取中存放了所有未儲存在磁碟上的資料,可實現安全快速的重啟,確保斷電過程中沒有資料丟失。

資料堅不可摧架構(data invulnerability architecture)的持續的故障監測和**:

持續的故障監測和**提供了乙個額外的資料保護級別,它持續地監測故障並恢復,它的基本流程是:

系統週期性的檢查raid條帶和container log的完整性;

系統使用raid 6來實現冗餘性的故障保護;

3.每次讀資料的時候,都會驗證資料完整性;

4.任何監測到的錯誤都會被**。

資料堅不可摧架構(data invulnerability architecture)的檔案系統恢復:

檔案系統回覆特性能夠重建丟失的或者損毀的檔案系統元資料,它自帶檔案系統檢查工具。通過掃瞄log和重建元資料和資料來恢復檔案系統。在傳統的檔案系統中是不檢查資料一致性的。

dd系統在每次備份後都會檢查新資料的一致性。既然data domain檔案系統永遠不會覆蓋舊的資料,並沒有塊對映和引用計數重建,它只需驗證日誌的頭部就可以安全地把系統重新聯機和恢復關鍵資料。

架構設計之執行架構

執行架構 技術選型 控制流劃分 同步關係 執行架構 如圖 1所示 關注程序 執行緒 中斷服務程式等執行時控制流,以及相關的併發 同步 通訊等問題。執行架構的設計 及其所依賴的物理架構設計 對執行期質量屬性有重大影響,例如效能 可伸縮性 持續可用性和安全性等。圖 1 執行架構的設計內容 執行架構和開發...

裝飾工程組織架構管理,專案架構

裝飾工程 施 工組織管 理體系編制單位 裝飾工程 編制時間 2013年6月11日 總部組織機構圖 專案部管理組織機構 第一節編制依據 根據裝修工程施工圖 根據有關本次招標答疑紀要 國家現行施工驗收規範和操作規程及國家質量評定標準 工程配合交叉施工的要求 有關文明工地標準要求 類似專案的參考經驗 第二...

倉儲管理架構

一 倉儲規劃 一 倉儲儲存空間規劃 1 儲存空間規劃是指按照存貨自身的理化性質與儲存要求,根據分庫 分割槽 分類的原則,為存貨進行正確的定置定位。定置定位作業對倉儲的勞動生產率 裝運的準確性 庫存的正確性 訂單完成時間 倉庫空間利用率 空間價值率等都有重要的影響。2 儲存空間構成 3 影響儲存空間布...