大資料管理的挑戰及對策

2022-09-08 17:45:04 字數 1154 閱讀 4430

大的資料並不是一種特定型別的資料。每一種非結構化資料均可被視為大資料。這包括在社交**上的資料、**金融交易資料、公司記錄、氣象監測資料、衛星資料和其他監控、研究和開發資料。

大資料的量是巨大的而且是非結構化的。

idc將大資料技術定義為:大資料技術描述了新一代的技術和架構體系,通過高速採集、發現和分析,提取各種各樣的大量資料的經濟價值。如下是一些有助於您的企業有效地管理資料儲存需求的提示:

通過隔離管理大資料儲存

如果您在您的企業中有多個儲存箱,那麼將資料庫、線交易處理(oltp)和微軟exchange應用到特定的儲存系統絕對是乙個好主意。而專其它儲存系統則用於大資料應用,如門戶**,**流**應用,等等。

如果您的企業負擔不起分隔的儲存系統,將特定的前端儲存埠到資料庫,oltp,等等;致力於大資料應用到其他埠。背後的基本原理是使用專用埠,而大資料流量是以千位元組或兆位元組衡量,oltp應用流量是以每秒的輸入/輸出操作(iops)衡量,因為資料塊的大小是比大資料更大而比oltp應用程式更小。oltp應用程式是cpu密集型的,而大資料應用程式更多的使用前端埠。

因此,更多的埠可以專注於大資料應用。

專業的大資料儲存管理

如今,很多公司提供相容資料管理的儲存系統。你應該在尋找你的大資料儲存管理解決方案**估這些公司。如emcisilon的集群儲存系統對於大資料儲存管理是乙個更好的選擇,因為在乙個單一的檔案系統中大資料能增長到多位元組的資料。

大資料分析

除了儲存,大資料管理的另一項大的挑戰是資料分析。一般的資料分析應用程式無法很好的處理大資料,畢竟涉及到大量的資料。

目前,諸如emcgreenplum這樣的公司就在採用專門針對大資料的管理和分析的工具。這些應用程式執行在集群儲存系統上,緩解大資料的管理。建議選擇應用程式可同時工作在群集儲存系統,並迅速有效地分析資料。

快速索引,確保元資料始終駐留在固態硬碟(ssd),如果儲存箱為您提供了這樣的選擇的話。

管理大資料的另乙個需要重點考慮的是未來的資料增長。你的大資料儲存管理系統應該是可擴充套件的,足以滿足未來的儲存需求。

大資料的儲存管理和雲計算

許多公司正在尋找雲計算服務來進行儲存和管理海量資料。而選擇雲服務來大型資料儲存管理,可以確保資料的所有權仍然是你的。

你應該有權選擇將您的資料移入或移出雲服務,而不被**商鎖定。其他重要的考慮因素是**商的資料安全指南。

本文章**

大資料時代教育面臨的挑戰

胡弼成,鄧傑在大資料時代,教育領域的變革面臨著諸多挑戰。一 佔據社會發展話語權,重新發掘教育價值的挑戰資料科學的出現,對教育教學方式的改觀 人才培養模式的設計 教育面貌的重塑提出了新的要求。教育要在社會新一輪的變革中體現自身價值,獲得話語權,引領並服務社會發展,就必須與時俱進,革新教學方式,創新教育...

大資料時代檔案工作的機遇 挑戰與應對策略

作者 吳偉寧 檔案天地 2015年第05期 我們不得不承認,檔案工作已經無可逆轉地進入到知識 資訊快速更迭的時代。知識呈井噴式增長,資訊呈幾何級氾濫,使得包括檔案工作在內的各領域都飽受資料與資訊的密集轟炸。隨著大規模資料海量級的增長,人類社會進入了乙個以 pb 1024tb 為單位的結構和非結構資料...

論大資料時代高校人事檔案管理面臨的挑戰及對策

作者 龍彥 中國管理資訊化 2017年第21期 摘要 大資料時代的來臨,使得高校人事檔案管理也不得不發生改變。如何借助大資料時代的 東風 創新人事檔案管理工作,是高校檔案管理部門必須面對的重要問題。關鍵詞 大資料時代 高校 人事檔案管理 doi 10 3969 j issn 1673 0194 20...