文章**：ecp大資料時間：2013/5/22 11:28:34發布者：ecp大資料（關注：848）
標籤： 「大資料」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產。特點是：
資料量大(volume)、資料種類多樣(variety)、要求實時性強(velocity)。對它關注也是因為它蘊藏的商業價值大(value)。也是大資料的4v特性。
符合這些特性的，叫大資料。
大資料會更多的體現資料的價值。各行業的資料都越來越多，在大資料情況下，如何保障業務的順暢，有效的管理分析資料，能讓領導層做出最有利的決策。這是關注大資料的原因。
也是大資料處理技術要解決的問題。
大資料處理技術
大資料時代的超大資料體量和佔相當比例的半結構化和非結構化資料的存在，已經超越了傳統資料庫的管理能力，大資料技術將是it領域新一代的技術與架構，它將幫助人們儲存管理好大資料並從大體量、高複雜的資料中提取價值，相關的技術、產品將不斷湧現，將有可能給it行業開拓乙個新的**時代。
大資料本質也是資料，其關鍵的技術依然逃不脫：1）大資料儲存和管理；2）大資料檢索使用（包括資料探勘和智慧型分析）。圍繞大資料，一批新興的資料探勘、資料儲存、資料處理與分析技術將不斷湧現，讓我們處理海量資料更加容易、更加便宜和迅速，成為企業業務經營的好助手，甚至可以改變許多行業的經營方式。
大資料的商業模式與架構----雲計算及其分布式結構是重要途徑
1）大資料處理技術正在改變目前計算機的執行模式，正在改變著這個世界：
它能處理幾乎各種型別的海量資料，無論是微博、文章、電子郵件、文件、音訊、**，還是其它形態的資料；它工作的速度非常快速：實際上幾乎實時；它具有普及性：因為它所用的都是最普通低成本的硬體，而雲計算它將計算任務分布在大量計算機構成的資源池上，使使用者能夠按需獲取計算力、儲存空間和資訊服務。
雲計算及其技術給了人們廉價獲取巨量計算和儲存的能力，雲計算分布式架構能夠很好地支援大資料儲存和處理需求。這樣的低成本硬體+低成本軟體+低成本運維，更加經濟和實用，使得大資料處理和利用成為可能。
2）大資料的儲存和管理----雲資料庫的必然
很多人把nosql叫做雲資料庫，因為其處理資料的模式完全是分布於各種低成本伺服器和儲存磁碟，因此它可以幫助網頁和各種互動性應用快速處理過程中的海量資料。它採用分布式技術結合了一系列技術，可以對海量資料進行實時分析，滿足了大資料環境下一部分業務需求。
但我說這是錯誤的，至少是片面的，是無法徹底解決大資料儲存管理需求的。
雲計算對關係型資料庫的發展將產生巨大的影響，而絕大多數大型業務系統（如銀行、**交易等）、電子商務系統所使用的資料庫還是基於關係型的資料庫，隨著雲計算的大量應用，勢必對這些系統的構建產生影響，進而影響整個業務系統及電子商務技術的發展和系統的執行模式。
基於關係型資料庫服務的雲資料庫產品將是雲資料庫的主要發展方向，雲資料庫（clouddb），提供了海量資料的並行處理能力和良好的可伸縮性等特性，提供同時支援在**分析處理（olap）和**事務處理(oltp)能力，提供了超強效能的資料庫雲服務，並成為集群環境和雲計算環境的理想平台。它是乙個高度可擴充套件、安全和可容錯的軟體，客戶能通過整合降低it成本，管理位於多個資料，提高所有應用程式的效能和實時性做出更好的業務決策服務。
這樣的雲資料庫要能夠滿足：
a．海量資料處理：對類似搜尋引擎和電信運營商級的經營分析系統這樣大型的應用而言，需要能夠處理pb級的資料，同時應對百萬級的流量。
b．大規模集群管理：分布式應用可以更加簡單地部署、應用和管理。
c．低延遲讀寫速度：快速的響應速度能夠極大地提高使用者的滿意度。
d．建設及運營成本：雲計算應用的基本要求是希望在硬體成本、軟體成本以及人力成本方面都有大幅度的降低。
所以雲資料庫必須採用一些支撐雲環境的相關技術，比如資料節點動態伸縮與熱插拔、對所有資料提供多個副本的故障檢測與轉移機制和容錯機制、sn（share nothing）體系結構、中心管理、節點對等處理實現連通任一工作節點就是連入了整個雲系統、與任務追蹤、資料壓縮技術以節省磁碟空間同時減少磁碟io時間等。
雲資料庫路線是基於傳統資料庫不斷公升級並向雲資料庫應用靠攏，更好的適應雲計算模式，如自動化資源配置管理、虛擬化支援以及高可擴充套件性等，才能在未來將會發揮不可估量的作用。
3）大資料的處理和使用----新型商業智慧型的產生
傳統針對海量資料的儲存處理，通過建立資料中心，建設包括大型資料倉儲及其支撐執行的軟硬體系統，裝置（包括伺服器、儲存、網路裝置等）越來越高檔、資料倉儲、olap及etl、bi等平台越來越龐大，但這些需要的投資越來越大，而面對資料的增長速度，越來越力不從心，所以基於傳統技術的資料中心建設、運營和推廣難度越來越大。另外一般能夠使用傳統的資料庫、資料倉儲和bi工具能夠完成的處理和分析挖掘的資料，還不能稱為大資料，這些技術也不能叫大資料處理技術。面對大資料環境，包括資料探勘在內的商業智慧型技術正在發生巨大的變化。
傳統的傳統商業智慧型技術，包括資料探勘，主要任務舒建立比較複雜的資料倉儲模型、資料探勘模型，來進行分析和處理不太多的資料。
也許由於雲計算模式、分布式技術和雲資料庫技術的應用，我們不需要這麼複雜的模型，不用考慮複雜的計算演算法，就能夠處理大資料，對於不斷增長的業務資料，使用者也可以通過新增低成本伺服器甚至是pc機也可以，來處理海量資料記錄的掃瞄、統計、分析、**。如果商業模式變化了，需要一分為二，那麼新商業智慧型系統也可以很快地、相應地一分為二，繼續強力支撐商業智慧型的需求。
所以實際是對傳統商業智慧型的發展和促進，商業智慧型將出現新的發展機遇，面對風雲變幻的市場環境，快速建模，快速部署是新商業智慧型平台的強力支撐。而不像過去那樣艱難前行，難以承受商業運作的變化。
POSPac資料處理流程
1 將 的資料檔案置於建立新資料夾 raw 注意 資料夾名稱等使用拼音或英文，否則在處理過程中會出現亂碼。2.開啟工作介面，新件工程 s e 選擇pos連續資料首檔案，開啟資料步驟開始 提取資料完成後，開始posgps 先進行資料格式轉換，posgps要求的資料格式為 gpb格式 a.轉換機載gps...
資料處理技術實習報告
長江學院 資料處理軟體實訓報告 系別 經濟管理系 專業 市場營銷 姓名 李棟強 學號 09332310 2011 11 13 一實習目的 1 掌握自動和高階功能。2 掌握資料的分析彙總方法和分級顯示資料表。3 掌握資料的合併計算。4 掌握資料透視表的建立 使用和設定。5 會利用模擬運算表求解。二實習...
Excel資料處理
excel2002增強的資料處理功能 眾所周知，使用excel工作簿能夠非常容易的儲存 管理資料，並能夠進行資料運算。比如，你可以很方便的求出某個選定範圍的資料的最大值 最小值。假如你是乙個公司的業務經理，知道了最大值 最小值，你可以很容易的判定誰是最優秀的銷售員，哪種產品是最暢銷的。只要你提供了最...