隨著資料中心和雲環境中的大型資料不斷增長，如何管理同時傳輸數百萬條記錄的網路成為前所未有亟待解決的問題。
這不僅僅是資料規模的問題--在涉及大型資料網路解決方案時，不僅是資料規模確實不能小覷，而且工作量也是如此。大型資料環境不能簡單的按照過去的資料基礎架構來運作。鑑於執行大型資料應用軟體的複雜性和速度，大型資料需要適合自己的解決方案。
「傳統」的資料分析體系結構假設資料的**有限，他們有大量的時間將資料儲存在正確資料庫的正確**當中。當涉及到諸如推特，臉譜和谷歌所使用的網路和應用軟體時，這種對待常規資料庫體系結構的方法就好比將單個燈泡插在核反應堆上一樣問題立顯。
為了克服在短時間內處理大容量資料的障礙，大型資料使用者設計了兩種不同的方法來解決這種問題。首先是部署大規模實時資料庫，比如bigtable, opendremel, mongodb或者cassandra。這些資料庫都共享非關聯的特性：
他們不依賴標準化查詢語言（因此他們又被稱為"nosql"），他們也不能滿足關聯資料庫中所有資料都必須滿足的acid需求。
另外一種解決方案是使用分析資料庫，諸如hadoop，通過篩選大容量資料進行分類來達到目的。
這就意味著網路和周圍基礎架構關注的中心將從優化儲存向優化搜尋轉移。也必須這麼做，因為儲存在典型的大型資料環境中已經被大大的簡化了，所有的重點是將資料分類來滿足有用的資料集，然後用於深層結論的分析。
但不幸的是，這種基礎方法只能應用於普通的大型資料網路。在占地20000平方英呎的資料中心裡，用來匹配這些資料解決方案的方法是多種多樣的。每種方法都有其必須被解決的固有問題。
舉例來說，hadoop使用代表單點故障大型資料管理器的namenode體系結構來應對非常敏感的資料。如果namenode裝置對網路不起作用了，整個hadoop系統也就癱瘓了，這就給網路管理員來保障特殊伺服器的正常執行造成了很大的壓力。
當然還有非網路的解決方案。舉例來說，來自datastax公司的產品brisk就是要在apache cassandra的實時效能與hadoop的分析能力之間搭建一座橋梁。brisk將hadoop的檔案系統與cassandra合併在一起，這就意味著不再會出現單點故障的問題。
大型資料和網路體系結構
這兩種選擇只是來自潛在大型資料體系結構的冰山一角。單就這些解決方案的網路體系結構來說差異就已經非常之大了。那麼網路管理者如何應對每天越來越多的大型資料呢？
諸如openflow這樣的解決方案能有所幫助。openflow是open networking foundation產品的網路基礎架構協議。open networking foundation存在的原因就是要執行這種圍繞軟體定義網路概念的協議openflow。
軟體定義網路的設計是為了解決諸如下面描述的這類問題：與構建一招吃遍天下的網路解決方案並迫使應用軟體使用這種解決方案來解決問題的方法不同，應用軟體本身就能定義網路拓撲。openflow通過簡化硬體和網路管理，能幫助網路管理員更加輕鬆的根據軟體定義網路的規則來配置他們的網路，從而降低大型資料網路的網路管理成本。
openflow是一種低級別標準，不過廠商已經開始尋找將他們自己的軟體設於openflow之上的可能性。舉例來說，是否能設計出一種網路管理工具能感知網路流量和資訊包工作負載的突然性大規模遷移，自動轉換配置來做出補償，當工作量完成後又返回「正常」模式呢？其實如果這種方法能得到廣泛的普及，openflow將對「雲網路」--隨需效用網路配置有所幫助。
這種方式非常重要。標準拓撲結構下的交換機和路由器無法實現我們在此**的頻寬。網路本身逐漸成為大型資料解決方案的組成部分，諸如思科系統公司ios產品線極力推廣的此類網路即平台解決方案應用正在變得越來越普遍。
面對如此的複雜程度和資料規模，靈活的光纖連線方式正在快速成為網路體系結構的新寵。
openflow解決方案將幫助網路管理員按照需求自動控制網路光纖的規模和形態，就像幾年前讓流量按照意想不到的方式實現一樣。
這是一種網路管理者必須適應的方式。雲計算的大規模應用（公有雲，私有雲或者混合雲）和大型資料應用軟體將在不久的將來滲入到每一家企業的應用環境當中。
大資料時代下的社交網路
網際網路的發展為社交網路的發展奠定了基礎，社交網路的發展同時也為讓網際網路的關係網越來越複雜，在這個需求背景下，就提出了乙個社交圖譜的概念，也就是網路社交上表示人與人之間關係的網路圖譜,但是我們有沒有想到，其實社交圖譜也是大資料時代的乙個產物。fb的創始人扎克伯格就是提出了社交圖譜的概念，也讓他的 ...
融金所楊全超大資料帶來全流程的改革
2016年4月8日至10日，局 主任圓桌會議在天津寶坻召開。融金所首席風控官楊全超作為此次會議風控分論壇的受邀嘉賓，針對 大資料能否帶來小微金融的風控革命 的命題提出了自己的觀點。融金所首席風控管楊全超參加論壇 楊全超表示，關於 大資料能否帶來小微金融的風控革命 這個命題需要一分為二的來看待，大資料...
網路輿情中的大資料分析方法研究
作者 常衛東劉完芳 求知導刊 2017年第28期 摘要 網路輿情是指在網路空間中對網民和生活中的社會事件尤其是一些突發事件的看法和態度。網路輿情通常涉及社會的熱點事件，因而經常在網路中快速傳播，成為人們談論的焦點。因而，對網路輿情進行分析和正確的引導顯得尤為重要。文章採用大資料分析方法分析網路資料，...