大資料 雲計算 物聯網

2022-10-05 10:03:02 字數 744 閱讀 6397

5、糾刪碼

糾刪碼(erasure coding,ec)是一種資料保護方法,它將資料分割成片段,把冗餘資料塊擴充套件、編碼,並將其儲存在不同的位置,比如磁碟、儲存節點或者其它地理位置。

糾刪碼會建立乙個數學函式來描述一組數字,這樣就可以檢查它們的準確性,而且一旦其中乙個數字丟失,還可以恢復。多項式插值(polynomial interpolation)或過取樣(oversampling)就是糾刪碼所使用的關鍵技術。

從資料函式角度來說,糾刪碼提供的保護可以用下面這個簡單的公式來表示:n = k + m。變數「k」代表原始資料或符號的值。

變數「m」代表故障後新增的提供保護的額外或冗餘符號的值。變數「n」代表糾刪碼過程後建立的符號的總值。

舉個例子來說,在乙個ec 10/16的配置中,會有6個額外的符號(變數m)被新增到10個原始符號(變數k)中。這16個資料片段(變數n)會遍布16個驅動器、節點或地理位置中。而原始檔案可以從10個驗證片段中重建。

糾刪碼,也稱為前向糾錯(fec)編碼,早在50年前就已出現。隨後產生了不同型別。其中乙個最早也是最常見的型別就是rs(reed-solomon),這種型別的資料可以使用任何k符號的組合或資料塊來重建,即使m符號丟失或不可用。

比如,在ec 10/16中,即使有6個驅動器、節點或者地理位置丟失或不可用,而原始檔案還是可以恢復。

糾刪碼可以用於有大量資料和任何需要容錯的應用程式或系統中,比如磁碟陣列系統、資料網格、分布式儲存應用程式、物件儲存或歸檔儲存。目前,糾刪碼的乙個常見的使用案例是基於物件的雲儲存。

網際網路大資料

網際網路是個製造流行概念的行業,資料產品 也不倖免。其實,資料產品的 實 早就存在,只是 名 是後面幾年慢慢流行起來的。一 什麼是資料產品 要談清楚資料產品,首先不可迴避的 俗套問題 便是資料產品的定義認知。我的理解是 廣義來看,資料產品是可以發揮資料價值去輔助使用者更優的做決策 甚至行動 的一種產...

當網際網路遇上大資料

專業見習報告 姓名學號 院系數學與資訊科學學院 專業資訊與計算科學 年級 2013級 指導教師皮磊 2016年01月08日 見習報告 要求在圖書館或網路上查閱有關資料,結合所聽報告 當網際網路遇上大資料 自擬題目,寫一篇研究報告,對目前國內外有關大資料方面的理論研究和實際應用進行概括分析,篇幅不少於...

計算機技術 物聯網

物聯網胡圖圖 摘要 物聯網是新一代資訊科技的重要組成部分。其英文名稱是 the internet of things 由此,顧名思義,物聯網就是物物相連的網際網路 這有兩層意思 第一,物聯網的核心和基礎仍然是網際網路,是在網際網路基礎上的延伸和擴充套件的網路 第二,其使用者端延伸和擴充套件到了任何物...