企業資料標準化

2021-03-04 00:09:28 字數 3673 閱讀 4122

企業資料標準化的建立是企業資訊化的基礎工作,提高了資料的共享性,為廣東電網公司提供了統一的資訊檢視、資料規範及符合電力行業標準的編碼標準。建立廣東電網公司資料資訊資源的統一標準化管理的原則可以包括:

統一標準的資料定義:減少資料定義的二義性;

統一標準的企業資料模型:該企業資料模型必須是乙個全企業範圍的定義庫,能適跨應用、跨業務地完整表述企業資料的統一的完整資料檢視;

統一標準的儲存管理:統一規劃使用儲存資源,提高儲存資源使用效率;

統一標準的效能管理:根據實際業務需求,合理分配資源,確保對資料的訪問效能能夠滿足業務的需要;

統一標準的資料質量管理:資料管理需要通過應用標準方**和原則,實現對有價值的商業資訊和資料進行完整的生命週期的管理,從而支援廣東電網公司的業務。

其它管理:提供對資料的其他統一標準化管理,包括統一編碼標準;

企業級資料標準的制定是乙個系統工程,涉及到多方面的原因,成功的因素主要包括如下幾點:

高層領導參與:為了實施跨部門、跨功能的企業資料標準,驅動企業高層領導的支援是勢在必行的;

清晰的範圍界定:大規模的企業資料標準化工作往往因為人為因素和組織衝突而宣告失敗。而範圍界定清晰的、分步走的、具有可測量結果的企業資料標準化實現方案能在短期內提供業務價值;

企業資料模型設計的穩定性:穩定性並不意味著企業資料模型的一成不變;相反,大多數的變化應該不需要任何人去重寫應用系統;

資料小組的能力:跨業務的資料整合體現了企業資料模型的主要價值,需要有小規模的、訓練良好的、靈活的建模小組和事務專家。

乙個完整的企業級資料標準化建設體系包括企業資料標準化策略,資料標準,資料標準化工作流程,組織架構,資料管理。資料模型是資料標準的主要實體,涵蓋了資料字典、邏輯資料模型、元資料標準。資料規範通常包括了資料建模規範、資料編碼規範、資料整合規範。

資料標準化建設體系

通過對廣東電網公司現行的資料標準化建設的現狀了解和評估,結合中國電力行業標準化的策略和畢博在國內外電網公司資料規劃的經驗,制定符合廣東電網公司實際情況的企業級資料標準化的策略。企業級資料標準化策略舉例如下:

● 在省公司本部設立具有權威性的企業資料標準化管理組織,專門的人員組織負責標準化管理工作,確定人員職責;

● 確立可遵循的可重複使用的統一的標準化工作流程和工作步驟;

● 企業級資料標準的制定首先參考國家標準委員會制定的電力行業系統標準,其次參考國際標準化組織iec61970,iec61968等關於電力行業的標準;

資料標準的基本實體是資料模型和資料規範,資料模型標準提供了描述廣東電網公司企業資料的乙個完整的檢視。目前,廣東電網公司還無法提供企業級的、跨業務、跨應用的、統一的資訊檢視。

資料模型是管理資訊和業務需求的具體體現,資料模型的設計是乙個漸進細化的過程,同時資料模型將用於直接指導對資料來源的分析。圍繞資料模型,還需要多維度的對資料模型進行業務規則定義。在定義資料模型時,對模型中所定位的管理資訊,還要逐個回答以下業務規則問題:

● 描述——對該資訊進行簡要描述

● 準確性/質量——對該資料的質量要求的說明

● 數量——該資訊的數量,通常是以單位時間的資料量表示

● 時間——對該資料產生(獲得)的頻率和潛在規律的描述

● 資料來源——該資料的可能**

● 使用——該資料的使用方式和使用者

● 傳送——該資料傳送的目的地

● 資料老化——該資料是否會老化,以及老化會導致該資料失去儲存的價值,還是進行資料維護就可以消除老化的影響。

● 維護——對維護該資料工作的簡單描述

● 安全性——關於該資料保密的說明

● 完整性——該資料是否足夠完整的表達了某個業務需要,以滿足使用要求

● 冗餘——是否和別的資料冗餘,冗餘的理由

其中資料規範包括:

● 資料建模規範

● 資料編碼規範

● 資料交換規範

● 資料etl規範

● 資料整合規範

資料標準化工作的主要包括以下流程:標準需求管理、標準開發、標準實施和標準維護。這個管理流程是迴圈漸進優化完善的乙個過程。

標準需求管理

建立企業級資料標準化的前提是要指定專門的人員組織、基礎設施和制訂總體資料標準的管理規範流程,採用統一的資料架構描述標準和相關技術標準。專門的人員組織,在做需求管理的時候,需要完成如下內容:

從廣東電網公司各個資料所有者或使用部門收集整理標準化需求包括資料模型和資料規範;

去除重複表意的不一致的資料標準需求;

遵循標準化需求管理規範,利用適當應用手段管理標準需求;

標準開發

資料標準化開發步驟充分參考以下步驟:

依據標準需求,參考國際及國家標準化組織的電力行業資料參考模型,資料標準維護專門人員通過分析現有業務系統(如營銷系統)的資料和業務實際,將分析結果分類細化,形成總體資料模型標準的初始狀態;

依據標準需求,收集現有系統的資料定義標準和資料編碼標準,初始建立統一的資料定義標準和資料編碼標準;

清晰定義每個資料元素的名稱、內容、類別及用途、源系統等屬性;

描述支援對應業務系統的實體關係圖,即該業務系統資料的邏輯模型;

描述支援對應業務系統資料庫定義、資料管理和資料分布等特性,即建立該業務系統資料的物理模型和資料管理、儲存、安全、分布、維護和災備要求;

描述和現有資料模型包含的業務系統的資料關聯及實現;

標準實施

資料標準化實施主要是在新建應用系統中,新建應用系統應該遵循廣東電網公司統一的資料標準,服從資料標準化組織對資料標準的管理;

新的應用系統的建立要遵循編碼規範、資料介面規範、資料建模規範、資料交換規範等;

在舊的應用系統的資料不符合所建立的資料標準的情況下,分別考慮適當的資料介面過渡管理方案;

標準維護

未來新建系統在定義企業資料模型時,在清晰分析自身系統的資料模型的基礎上,參考已定義的總體資料模型,找出可以利用已有公用的部分並明確資料同步/使用方式;

將自身特有的業務資料模型根據分類加入到相應的分類中,以構成包含此新建系統的完整的廣東電網公司總體資料模型,最終,建立能反映廣東電網公司全域性的企業資料模型;

資料標準化管理是整個資料管理的重要組成部分,資料管理是乙個長期過程,資料管理的成功與否取決於廣東電網公司是否能夠長期和持續地執行管理流程,因此建立資料管理的組織架構勢在必行,它能夠幫助廣東電網公司高層管理通過制定合適的人員或組織進行授權,確保其能夠有效的負責和執行他們有關的任務和要求。通常企業會有不同的資料管理構架,一種常用的方法是把相應的活動和職責根據不同的層面進行分割。以下是對不同層面的資料管理的關鍵職責的定義示例:

下述的是資料管理組織構架的乙個案例。在這裡我們僅僅是介紹資料管理組織構架如何能夠合理地引入決策層的參與,而廣東電網公司的資料管理構架需要在專案實施過程中根據其業務和管理特點進行分析設計。

企業資料管理組織架構示例:

對於許多企業來講企業級資料管理的概念很新,資料管理體系尚未完全建立起來,其中資料管理構架中執行層的結構和職責方面的問題尤其突出。其中最普遍的問題就是:「在這個構架之中,實際的工作是如何被完成的?

」。下面我們以資料管理執行層的構架與職責為例,進一步詳述組織結構。下圖是乙個資料管理團隊的常用功能性組織結構與主要職責舉例:

資料管理團隊組織結構示例-執行層

這裡所介紹的資料管理團隊對應於資料管理構架的執行層,資料管理團隊負責人應該作為資料理事會中的成員。

通過建立上述資料管理團隊,我們把重點集中在如何為企業的資料管理創造環境。在整個資料管理構架中通過建立這樣乙個團隊,廣東電網公司所有合適的資源都可以充分發揮其在資料管理中的作用。在廣東電網公司戰略和決策層的指導和參與下,合理地設定與管理資源和優先順序,由執行層執行和實現廣東電網公司高層的戰略目標。

資料標準化

一 為何要將資料標準化?由於不同變數常常具有不同的單位和不同的變異程度。不同的單位常使係數的實踐解釋發生困難。例如 第1個變數的單位是kg,第2個變數的單位是cm,那麼在計算絕對距離時將出現將兩個事例中第1個變數觀察值之差的絕對值 單位是kg 與第2個變數觀察值之差的絕對值 單位是cm 相加的情況。...

資料標準化

一 為何要將資料標準化?由於不同變數常常具有不同的單位和不同的變異程度。不同的單位常使係數的實踐解釋發生困難。例如 第1個變數的單位是kg,第2個變數的單位是cm,那麼在計算絕對距離時將出現將兩個事例中第1個變數觀察值之差的絕對值 單位是kg 與第2個變數觀察值之差的絕對值 單位是cm 相加的情況。...

測井資料標準化

測井曲線標準化工作是為測井解釋儲集層引數,進行油藏描述的前期準備工作。在本專案中,測井曲線均來自紙質圖紙直接數位化而來。而之前並沒有進行過任何資料處理工作,同時不同時期測測井工作是通過不同儀器測進行的,這樣很難保其標準刻度器和操作方法是想同的,故各井測井資料間必然存在以刻度因素為住的誤差。為了使測井...