29.1 概述
本章概述了將從儀器直接獲取的觀測資料，處理（或轉換）為可供氣象使用者使用（特別是國際交換）的資料的過程。wmo已制定了正式的用於國際交流的資料處理規定，詳見wmo（1981）。一些正式的補充規定見wmo（1989）。
第一編第1章包含部分建議和定義。
29.1.1 定義
在討論與測量大氣變數有關的儀器時，有必要根據級別對觀測資料進行分類。這個方案已引入全球大氣研究計畫（garp）資料處理系統，並由wmo（1981）定義。
ⅰ級資料，一般是與地理座標有關的、由相當物理單位表示的儀器讀數。它們需要轉化成標準的氣象變數（參見第一編第1章）。ⅰ級資料大多來自於電訊號(如電壓)的處理，稱為原始資料。
例如，衛星輻射率和水汽壓。
ⅱ級資料稱為氣象引數。它們可直接來自於儀器（如許多簡單儀器場合），或ⅰ級資料匯出。例如，感測器不能測量能見度（它是ⅱ級資料），但是，感測器能測量消光系統，這是乙個ⅰ級資料。
ⅲ級資料是那些內部格式一致的資料集，一般為格點形式。它們不在本《指南》的討論範圍之內。
國際資料交換採用ⅱ級資料或ⅲ級資料。
29.1.2 氣象要求
全世界的觀測站每天要定時進行多次觀測，並得出標準格式的觀測報告，以交換一致的觀測方法所獲得的高質量的觀測資料。而不管世界上，甚至在同一國家內，使用的各種不同的感測器。為實現以上目標，花了許多年的時間，並投入了大量的人力和物力進行內容、質量和格式的標準化。
隨著大氣觀測自動化的流行，保持現有標準的一致性和原始資料轉變為ⅰ級資料及原始和i級資料轉變為ⅱ級資料開發相關的補充標準變得越來越重要。
29.1.3 資料處理程式
感測器的作用是感應乙個大氣變數，並將它量化為乙個有用訊號。然而，感測器可能會對環境產生一些次生反應，如需要溫度校準，它們的輸出會出現各種誤差如漂移和雜訊。經資料採集系統正確取樣後的輸出訊號必須根據全系統校準值進行分度和線性化，然後過濾或平均。
訊號在這個階段，或更早，成為原始資料。原始資料必須被轉換為對應感測器所感應的物理量的值，該測量值即為ⅰ級資料，假如不需要進一步的轉換或也可能是ⅱ級資料，對某些應用還必須匯出附加變數。在處理資料的各個階段可能要對外部影響，如感測器安置環境，進行修正及質量控制。
因此，從常規或自動氣象站（awss）獲取的資料在可用之前必須進行許多任務序。整個程式稱作資料處理，它包括以下部分或全部功能的執行：
（a）大氣變數轉換；
（b）感測器輸出調節；
（c）資料採集和取樣；
（d）校準資訊的應用；
（e）感測器的線性化輸出；
（f）統計值（如平均值）的提取；
（g）匯出相關變數；
（h）誤差修正；
（i）資料質量控制；
（j）資料記錄和儲存；
（k）編輯歷史沿革資料
（l）資訊格式化；
（m）資訊內容檢查；
（n）傳送資訊。
以上功能的執行次序大致是連續的，排在第一的總是第乙個執行，排在最後的總是最後執行。線性化可能緊跟在或內建在感測器輸出的後面，但是，它必須在求平均之前。在不同級別的資料處理過程中，都應該進行專門的質量控制和誤差修正。
由於這些功能的應用，觀測站可以以精簡的方式執行，而不必包括所有的功能。
本《指南》中，重要的資料處理程式的功能有：適當抽樣過程的選擇，校準資訊的應用，在需要時的線性化，過濾和/或平均，匯出相關變數，誤差修正，資料質量控制，編輯歷史沿革資料。這也是本章要討論的題目。
抽樣、過濾和平均方面更細的資訊見第1章，質量管理見第3章。
資料被處理以後，還必須通過編碼、傳輸和接收、顯示和歸檔等變為可用。這些是別的wmo手冊和指南所討論的範圍。乙個觀測系統如果不連線到將資料分發給使用者的其它系統，則是不完整的。
資料的質量就是由這些鏈中最弱的一環決定的。因此，在每乙個階段都需要進行質量控制。
雖然，很多現存的資料處理技術和標準化的人工技巧也能被自動氣象站使用，然而，自動站有一些特殊要求。這是由於自動站包括了各種不同的感測器，及提取報文元素的標準化計算和報文自身的格式。一方面，不是所有的感測器都易於和自動化裝置介面。
而且，自動站必須恢復和顯露嵌入在**中的計算分析表示式。編報規則還必須被精確地表達為計算機算機語言，而那些為人工觀測準備的自然語言指令就不需要太完整和清楚。甚至，如雲狀識別等一些人工功能還不能用目前的或可預見的技術實現自動化。
自動站的資料採集和資料處理軟體的較詳細討論見第二編第1章，在一定程上度上，這些討論對氣象上電子感測器的任何應用都通用。設計自動天氣站演算法的一些總體考慮和具體例項見wmo（1987）。
處理氣象資料時，通常有乙個修正程式、演算法或方案，而且從好的到無用的有效取值範圍內可能有許多近似值。經驗強力表明，從長遠看，修正方法是最有效的。這種方法很直接，對素質要求很低，而且一旦採用就不需要進一步的關注。
因此，以下各節大多就只關心對所考慮問題的簡單修正方法，達到正確的解決方法為止。
29.2 抽樣
抽樣的詳細討論參見第1章。以下是對一些主要結論的乙個總結。
我們應該認識到，由於總是存在的湍流，大氣變數迅速而隨機振動，並且由於感測器動態特性的不足，如對快速變化的響應能力有限，造成感測器的輸出不能真實地反映大氣變數。感測器一般需要儀器能放大或保護其輸出，以及/或將一種格式的輸出轉換為另一種格式，如電阻轉換到電壓。實現以上功能的電路通常也可實現對訊號的平滑和低通濾波。
有乙個截止頻率在以上沒有明顯的脈動出現，這是由於在大氣中不存在這些脈動，並且/或感測器或訊號調節電路已經刪除了它們。
設計時要考慮的乙個重要問題是感測器的輸出應以多快的頻度進行抽樣。結論性的答案為：應以兩倍於感測器輸出訊號的截止頻率的間隔速率進行抽樣。
然而，乙個更簡單和等價的規則通常足已滿足：抽樣間隔應不超過所有裝置和採集系統預處理電路的最大時間常數。如果抽樣速率低於截止頻率的兩倍，那麼資料的方差和所有派生的量和統計中就會出現不必要的錯誤。
雖然在特殊情況下，這些誤差的增加可能是可以接受的，但在其它情況下則不行。正確的抽樣總是最小方差的保證。
好的設計要求包括乙個時間常數約等於資料採集系統的抽樣間隔的低通濾波器。它也是乙個減少雜訊的影響的預防措施，特別是由連線探頭到處理器的電纜從供電線串擾和從供電電源洩露出的50或60hz雜訊。
29.3 校準功能的應用
wmo規則（wmo，1981）規定：觀測站應配備適當的標準儀器，並遵循適當的觀測和測量技術，以確保測量是準確的，足以滿足相關氣象學科的需求。從儀器獲取的原始資料轉化為相應的氣象引數要通過校準功能來完成。
正確地應用校準功能和別的系統修正方法是獲得滿足所表達的準確度要求的資料的關鍵。
校準功能的確定應以測量鏈的所有組分的的校準為基礎，至少在理論上，和對某些氣象量如氣壓的實踐中，現場儀器的校準應當溯源於國際標準。這可以通過現場儀器和某些或所有的標準儀器（如移運式標準、工作標準、參考標準和國家標準（定義見第一編第1章））之間的連續的比對鏈來實現。
關於每乙個基本氣象引數的校準方法過程和系統修正的描述見第一編各有關章節。
要定期進行現場儀器的專家校準，並對校準函式進行相應的修訂。僅僅依賴廠商提供的裝置校準資料是不夠的。廠商的校準裝置與國家標準的關係常常是未知的，而且，不管哪種情況，校準值會因運輸、儲存和使用而發生變化。
校準值的變化必須記錄在站的歷史沿革資料檔案中。
29.4 線性化
如果感測器的輸出值與被測值之間的關係不嚴格成比例，那麼輸出訊號必須應用儀器校準進行線性化。這項工作必須在訊號被過濾或平均化之前完成。當整個「平均化」週期中訊號不是常量時，「平均化再線性化」的操作順序和「線性化再平均化」的操作順序兩者產生的結果不同。
造成非線性的原因有三種（參見wmo，1987）：
（a）許多感測器本身所固有的非線性，即它們的輸出值與被測量的大氣變數不成比例。熱敏電阻就是乙個簡單的例子；
（b）雖然感測器整合了線性感測部件，但測量的變數可能與有關的大氣變數不成線性關係。旋轉光雲幕儀的光探測器和軸角感測器都是線性裝置，但是雲幕儀的雲高輸出訊號（後向散射光強作為乙個軸角的函式）是非線性的；
（c）ⅰ級資料到ⅱ級資料的轉換可能不是線性的。例如，消光係數，不是能見度或透射比，是對相應的變數求平均所產生的估計平均能見度。
在上述第一種情況常常使用多項式的校準函式。儘管這樣，仍然總是希望用統一校準係數的標準感測器，以避免在現場互換感測器引起的問題。在其它兩種情況，應該有描述感測器工作的分析函式。
29.5 求平均數
由於大氣自然的小尺度變化，因此有必要對資料進行平滑或平均處理，以從不同儀器獲得有代表性的觀測值和相容的資料。對於國際交流和很多業務應用，報告的測量值，對風來說應代表前2分鐘或10分鐘，習慣上，其它量應代表前1到10分鐘。1分鐘量級的響應時間，並且在概念上乙個單獨讀數就是1分鐘內平均值或平滑值。
如果儀器的響應時間更快，那麼就有必要進行取樣和過濾或取平均值。這些是第1章的內容。對於典型的業務氣象儀器系統的平均時間要求見第一編第1章（附錄
通常採用兩種型別的平均或平滑處理：算術平均和指數平均。算術平均與通常意義上的平均是一致的，易於以數位化方式實現；第1章中講的矩形波串濾器就是這種。
指數平均是乙個代表感測器對大氣波動作出的最簡單的低通濾波器，並且它比算術平均更易於通過模擬電路實現，當乙個簡單濾波器的時間常數約是抽樣時間的一半時，平均值就被計算出來了，實際上算數平均和指數平均的值是很難區分的（參見第1章和acheson，1968）。
快響應感測器的輸出變化非常迅速，需要用高抽樣速率去獲得最優的（不可靠性最小）平均。為降低所需的取樣速率同時還要獲得最優的數字平滑，就需要先對感測器的輸出進行線性化（在所需的地方），再採用時常數為tc的模擬電路進行指數平均，接著以tc的間隔進行數字抽樣。
在一些特殊應用中已經使用了許多其他型別的精心製作的濾波器（採用數字計算）。
由於變數會在求平均期間發生變化，所以對非線性變數求平均會遇到困難。因此，選擇恰當的線性變數去求平均是很重要的。下表列了一些以平均值報告的天氣觀測要素的特殊例子和應使用的相應線性變數。
求平均時需要進行資料轉化的氣象量
29.6 相關的變數和統計
第6章資料處理
第6章資料處理 2 6.1概述 2 6.2詳細使用說明 2 6.2.1 資料備份 2 6.2.1.1資料綜合備份 2 6.2.1.2 資料檔案備份 3 6.2.1.3備份檔案讀取 5 6.2.1 日常資料處理 7 6.2.2.1流水處理 7 6.2.3 清理資訊 8 6.2.3.1 清理資訊維護 8...
Excel資料處理
excel2002增強的資料處理功能 眾所周知，使用excel工作簿能夠非常容易的儲存 管理資料，並能夠進行資料運算。比如，你可以很方便的求出某個選定範圍的資料的最大值 最小值。假如你是乙個公司的業務經理，知道了最大值 最小值，你可以很容易的判定誰是最優秀的銷售員，哪種產品是最暢銷的。只要你提供了最...
資料處理培訓總結
資料處理培訓報告 一 培訓組織 根據上海市第一次全國水利普查暨上海市第二次水資源普查技術路線和資料處理工作的要求，為保證 填報的順利進行，確保普查資料質量，市水利普查辦和市水務資訊中心組織了兩次資料處理培訓會。二 培訓實施 2011年3月4日清查資料處理培訓，培訓內容為本次普查資料處理的技術路線 工...