【it168 案例】facebook作為全球知名的社交**，擁有超過3億的活躍使用者，其中約有3千萬使用者至少每天更新一次自己的狀態;使用者每月總共上傳10億餘張**、1千萬個**;以及每週共享10億條內容，包括日誌、鏈結、新聞、微博等。因此facebook需要儲存和處理的資料量是非常巨大的，每天新增加4tb壓縮後的資料，掃瞄135tb大小的資料，在集群上執行hive任務超過7500次，每小時需要進行8萬次計算，所以高效能的雲平台對facebook來說是非常重要的，而facebook主要將hadoop平台用於日誌處理、推薦系統和資料倉儲等方面。
facebook將資料儲存在利用hadoop/hive搭建的資料倉儲上，這個資料倉儲擁有4800個核心，具有5.5pb的儲存量，每個節點可儲存12tb大小的資料，同時，它還具有兩層網路拓撲，如下圖所示。facebook中的mapreduce集群是動態變化的，它基於負載情況和集群節點之間的配置資訊可動態移動。
▲集群的網路拓撲
下圖為facebook的資料倉儲架構，在這個架構中，網路伺服器和內部服務生成日誌資料，這裡facebook使用開源日誌收集系統，它可以將數以百計的日誌資料集儲存在nfs伺服器上，但大部分日誌資料會複製到同乙個中心的hdfs例項中，而hdfs儲存的資料都會放到利用hive構建的資料倉儲中。hive提供了類sql的語言來與mapreduce結合，建立並發布多種摘要和報告，以及在它們的基礎上進行歷史分析。hive上基於瀏覽器的介面允許使用者執行hive查詢。
oracle和mysql資料庫用來發布這些摘要，這些資料容量相對較小，但查詢頻率較高並需要實時響應。
▲facebook資料倉儲架構
一些舊的資料需要及時歸檔，並儲存在較便宜的儲存器上，如下圖所示。下面介紹facebook在**atarnode和排程策略方面所做的一些工作。**atarnode主要用於hdfs的恢復和啟動，若hdfs崩潰，原有技術恢復首先需要花10～15分鐘來讀取12gb的檔案映象並寫回，還要用20～30分鐘處理來自2000個datanode的資料塊報告，最後用40～60分鐘來恢復崩潰的namenode和部署軟體。
表3-1說明了backupnode和**atarnode的區別，**atarnode作為普通的namenode啟動，處理所有來自datanode的訊息。**atardatanode與datanode相似，支援多執行緒和針對多個主節點的多佇列，但無法區分原始和備份。人工恢復使用**atarshell命令列工具，**atarshell執行恢復操作並更新zookeeper的znode，恢復過程對使用者來說是透明的。
分布式**atar檔案系統實現在現有檔案系統的上層。
▲資料歸檔
表：backupnode和**atarnode的區別
基於位置的排程策略在實際應用中存在著一些問題：如需要高記憶體的任務可能會被分配給擁有低記憶體的tasktracker;cpu資源有時未被充分利用;為不同硬體的tasktracker進行配置也比較困難等。facebook採用基於資源的排程策略，即公平享有排程方法，實時監測系統並收集cpu和記憶體的使用情況，排程器會分析實時的記憶體消耗情況，然後在任務之間公平分配任務的記憶體使用量。
它通過讀取/proc/目錄解析程序樹，並收集程序樹上所有的cpu和記憶體的使用資訊，然後通過taskcounters在心跳(heartbeat)時傳送資訊。
實驗3 詞法分析 FA的應用 已完成
實驗三詞法分析 有窮自動機的應用 一 實驗目的 一 輸入正則文法 二 fa 1 生成fa dfa或nfa 2 執行fa，dfa 自動 nfa 互動 3 nfa dfa 二 實驗設想 對輸入的文法儲存並判斷是確定的有窮狀態自動機還是不確定是有窮狀態自動機，並給出標準的表示形式，若是dfa，可直接測試乙...
名言警句應用案例分析
具體分析 沒有規矩不成方圓 的本意是說做事要講究規矩 要有約束，否則就不可能做好。這是多年來人們總結出的一種工作經驗，有著積極的現實意義，它強調了做事和為人必須要遵循基本的原則和要求，現實中的許多事例都證明了這一俗語的正確性。比如，我們黨的領導幹部就有嚴明的組織紀律約束，這種 規矩 的約束對我們領導...
案例分析法在政治課堂中的應用
摘要 案例分析法在政治課堂中有很重要的作用，有助於培養學生的學習興趣，加強對所學理論知識的理解，提高學生分析問題的能力。因此，要在政治課堂中引用案例分析法教學。為確保案例分析法的有效性，教師在進行案例分析法教學時，要做到精選案例 設疑引導和回歸理論。關鍵詞 案例分析法政治課堂教學 政治課主要是培養學...