大話冷儲存

2023-01-16 22:30:05 字數 1911 閱讀 5207

(一)技術背景

智慧型網際網路時代,資料正在以幾何量級**式增長。emc的**報告顯示,到2023年,全球資料總量預計會超過44zb(1zb=220pb)。如此海量的資料中蘊含著巨大的價值,特別是大資料的「低價值密度」特性使大規模資料的完備儲存成為必然需求,因此如何提公升資料的儲存管理效率是業界亟待解決的問題。

根據被訪問的頻度不同,資料可以被分為「熱資料、溫資料、冷資料」三種型別。其中,冷資料特指活動不頻繁、不會被經常訪問甚至永遠不會被訪問,但仍然需要長期保留的資料。熱資料受到業務特徵、使用者行為乃至監管政策的影響(例如,醫院的醫學影像檔案需要自患者最後一次就診之日起儲存不少於15年),經過一段時間的使用後,絕大部分資料都會迅速變「冷」。

因此,資料集合中通常有高達80%的部分屬於不常被訪問的冷資料。然而,冷資料並非失去價值,大資料、人工智慧等新興業務對海量冷資料進行檢索和挖掘的需求依然存在而且日益迫切。

當前熱資料高效儲存/訪問技術的發展導致儲存資料總量指數性爆發,面對當前資料規模快速增長的趨勢,冷資料如何管理已成為儲存領域的關注熱點。冷資料高效管理的核心需求在於降低海量資料冷儲存的成本(特別是系統執行功耗)。2023年我國資料中心的電量總消耗為1000億度,超過全社會年用電量的1.

5%,儲存系統消耗電量佔總消耗的30%,其中冷儲存消耗佔比儲存系統總消耗為24%。同時,系統訪問效能有待提公升,使冷資料能夠以近線儲存的方式被訪問。

(2)海量資料冷儲存技術關鍵

1、資料的分級,主要是指從海量資料中根據檔案的訪問頻率、價值等因素,進行冷、熱資料的分類,甚至分出更細的資料型別,如「溫資料」、「冰資料」等。目前常見的資料分級方法主要有兩類,一類是業務資料的分類,即基於具體的業務型別,結合長期以來的運營經驗,進行運營級的資料分類。另一類是基於資料訪問特性的分類,即借助儲存軟體系統自動進行資料的冷熱分級。

通過儲存軟體系統對資料進行冷熱監控,統計分析乙個時間週期內的io冷熱程度,並按照設定的分類策略自動進行資料的分類,並將冷資料從前端業務儲存系統遷移到冷資料儲存系統。

2、資料的壓縮去重,提高有效資料的儲存比例。為了提公升資料儲存的可靠性,通常會對資料進行多副本儲存,但多副本的方式會帶來儲存資料量的倍增。為了進一步提公升儲存效率,在一些讀寫效能要求較低的場景下,可以選擇只儲存校驗資料。

3、運營能力的提公升,海量資料的儲存需要更智慧型化的運維系統,包括對資料的定期巡檢、資料的精細化分類、自動化的資料遷移、故障**及定位、裝置的休眠等機房節能措施。此外,儲存的架構設計也是當前的研究熱點,包括裝置的分級、儲存介質的選型、資料儲存格式、資料檢索、對外服務介面等。

此外,資料訪問延遲、整體讀取速率以及資料永續性等,也是海量冷資料儲存的關鍵技術。這些關鍵技術相互制約影響,尤其是在運營能力提公升方面,涉及的因素眾多,對冷資料儲存的選型提出了新的挑戰。

(三)金錢貓冷儲存技術

大資料時代,冷資料佔到總資料的80%左右,比如facebook自身的資料中心有89%的資料都是冷資料。而這些冷資料同樣重要,許多大資料分析都要基於冷資料來進行,而且許多資料要求儲存的時間非常長,例如銀行、社保等資料,一般都要儲存70~100年的時間。傳統的觀點認為「硬碟儲存不論使用和閒置,都會消耗能量」,因此多採用磁帶或者光碟來儲存冷儲存資料。

但是,磁帶訪問慢,光碟容量小,操作複雜,很難滿足大資料時代資料實時**、快速訪問的需求。而實際上,隨著疊瓦式磁記錄等硬碟技術的發展,硬碟容量原來越大,能耗越來越低,圖靈獎得主、前微軟副總裁吉姆·格雷早在2023年就曾斷言:「ssd將變成磁碟,磁碟變成磁帶,磁帶將最終消亡」。

為此,金錢貓研發了一套基於硬碟的大資料智慧型冷儲存系統.

金錢貓大資料冷儲存系統的主要功能包括:支援海量資料儲存;實現了全域性命名空間,所有應用看到統一的檔案系統檢視;支援標準介面,應用無需修改直接執行;元資料儲存於記憶體,確保了檔案的訪問速度;多級儲存備份,靈活支援磁碟-磁帶的分級儲存與備份,擁有完備的檔案管理功能;支援硬碟智慧型通斷電,資料自動遷移,綠色節能;通過大資料分析,對儲存系統畫像,給出儲存系統規劃智慧型決策;透明管理異構儲存系統,能夠實現跨系統的資料整合,保護使用者投資。

大話啤酒遊戲

一 啤酒遊戲 1 經歷了生存島實驗,唐僧四人之間多了幾分信任與理解。當他們重回萬壽山五庄村,看著這裡的一山一水,一花一木都倍感親切和依戀。今天他們又要接受何種挑戰呢?吃過早餐,圍著天井轉悠了幾圈,他們便緊張又興奮地走進大宅門,坐在那間掛著巨大條幅的廳堂裡,等候觀老師的出現。八點整,觀影老師未到,清風...

大話名古人

大話名古人 雍正 有感張少華 陪護閒暇,閱 大話名古人 雍正 一書,內容妙趣無窮,給人深思,受到啟迪。大話名古人 精選了歷史上頗具個性 影響力的重要人物武則天 秦始皇 雍正 曹操 諸葛亮 曾國藩等進行點評,大話 介於嚴肅和戲說之間,它涵蓋故事與評點兩方面,它不是簡單地去寫歷史或對歷史人物進行褒或貶,...

大話設計模式總結

在uml類圖中,常見的有以下幾種關係 泛化 generalization 實現 realization 關聯 association 聚合 aggregation 組合 position 依賴 dependency 1.泛化 generalization 泛化關係 是一種繼承關係,表示一般與特殊的關...