前言：尋找寫作靈感？中文期刊網(wǎng)用心挑選的統(tǒng)計分析系統(tǒng)設計論文，希望能為您的閱讀和創(chuàng)作帶來靈感，歡迎大家閱讀并分享。

1系統(tǒng)架構及相關技術介紹

1.1系統(tǒng)設計

根據(jù)某省電力公司的具體情況，本文所設計的電力行業(yè)統(tǒng)計分析系統(tǒng)的總體架構分為數(shù)據(jù)源、數(shù)據(jù)倉庫架構、數(shù)據(jù)訪問架構以及元數(shù)據(jù)管理等。

1.2ETL設計

用OWB（OracleWarehouseBuilder）工具對ETL進行實現(xiàn)，其任務為偵測ETL事件，以便啟動處理過程，同時跟蹤ETL處理日志。ETL的處理過程如下：通過Excel導入管理工具或者OWB將數(shù)據(jù)源的數(shù)據(jù)抽取、轉換、加載到ODS層的數(shù)據(jù)緩沖區(qū)的增量數(shù)據(jù)庫中；將ODS層的數(shù)據(jù)緩沖區(qū)的增量庫的數(shù)據(jù)抽取、轉換、加載到ODS層的數(shù)據(jù)緩沖區(qū)的歷史庫；將ODS層的數(shù)據(jù)緩沖區(qū)的歷史庫的數(shù)據(jù)抽取、轉換、加載到ODS層的統(tǒng)一視圖信息區(qū)的增量庫；將ODS層的統(tǒng)一視圖信息區(qū)的增量庫的數(shù)據(jù)抽取、轉換、加載到ODS層的統(tǒng)一視圖信息區(qū)的全量庫；將ODS層的統(tǒng)一視圖信息區(qū)的全量庫的數(shù)據(jù)抽取、轉換、加載到ODS層的對外數(shù)據(jù)服務接口區(qū)；將ODS層的統(tǒng)一視圖信息區(qū)的全量庫的數(shù)據(jù)抽取、轉換、加載到DW（數(shù)據(jù)倉庫）層。

1.3系統(tǒng)數(shù)據(jù)結構設計

1.3.1ODS設計

存放經(jīng)過清洗、轉換、標準化以后的數(shù)據(jù)，并對外提供數(shù)據(jù)服務。為企業(yè)提供統(tǒng)一的數(shù)據(jù)視圖，滿足業(yè)務部門實時獲取數(shù)據(jù)和業(yè)務部門間對企業(yè)級的數(shù)據(jù)共享的需求。因此將ODS設計劃分為兩大部分：數(shù)據(jù)區(qū)、服務區(qū)。并按主題進行組織、近實時的集成數(shù)據(jù)存儲，以便最終用戶能夠快速查詢近期細節(jié)生產(chǎn)數(shù)據(jù)。

1.3.2DW（數(shù)據(jù)倉庫）設計

數(shù)據(jù)倉庫模型分為兩個區(qū)域：核心數(shù)據(jù)區(qū)（企業(yè)核心數(shù)據(jù)歷史細節(jié)區(qū)域）和輕度匯總數(shù)據(jù)區(qū)。核心數(shù)據(jù)區(qū)的數(shù)據(jù)模型設計依據(jù)企業(yè)數(shù)據(jù)模型進行設計，但是每個實體都要加上相應的時間戳。核心數(shù)據(jù)區(qū)的模型相對穩(wěn)定。輕度匯總數(shù)據(jù)區(qū)的模型設計依賴于分析需求。數(shù)據(jù)倉庫模型是符合3NF的帶有時間戳的關系模型。具體操作時應對數(shù)據(jù)倉庫需求進行分解，按業(yè)務主題進行組織，將業(yè)務主題相關的數(shù)據(jù)組織成主題域，并對各指標進行分析。

1.3.3DM（數(shù)據(jù)集市）設計

數(shù)據(jù)集市的數(shù)據(jù)分為兩類：一類是基于數(shù)據(jù)倉庫的細節(jié)數(shù)據(jù)或輕度匯總數(shù)據(jù)進行的統(tǒng)計分析，另外一類數(shù)據(jù)是基于統(tǒng)計分析進一步分析挖掘的數(shù)據(jù)。數(shù)據(jù)集市的建模方法是通過調研企業(yè)經(jīng)營的戰(zhàn)略目標、綜合查詢分析系統(tǒng)、同業(yè)對標系統(tǒng)、業(yè)務管理目標、業(yè)務報表等，對這些資料進行分析。根據(jù)一體化平臺關于分析主題進行細化，構建統(tǒng)一的核心數(shù)據(jù)集市模型。數(shù)據(jù)集市模型采用星形模型建模。

1.4元數(shù)據(jù)管理設計

元數(shù)據(jù)存儲在專用的數(shù)據(jù)庫中。有一類獨立于其它工具，被稱為元數(shù)據(jù)知識庫（MetadataRepository）的工具，它們?yōu)樵獢?shù)據(jù)提供一個集中的存儲空間。本設計中采用基于OracleOWB（OracleWarehouseBuilder）的元數(shù)據(jù)管理方案，各個工具集中通過OWB進行管理其中，元數(shù)據(jù)管理流程主要包括：元數(shù)據(jù)獲取流程（手動和自動）、元數(shù)據(jù)訪問權限管理流程以及元數(shù)據(jù)流程。元數(shù)據(jù)知識庫通過元數(shù)據(jù)獲取流程，來整合多個源（工具、數(shù)據(jù)庫和流程）中的不同元數(shù)據(jù)。通過元數(shù)據(jù)獲取流程，將元數(shù)據(jù)存入知識庫中后，為了有效的維護和管理元數(shù)據(jù)，保持其對于整個數(shù)據(jù)倉庫系統(tǒng)的有效性、準確性和及時性，還需要完成許多管控工作。元數(shù)據(jù)的方式有很多種：包括從屬關系圖（dependencydiagrams），數(shù)據(jù)沿襲表（datalineage），影響分析（impactanalysis），高級搜索，柔性報表，元數(shù)據(jù)術語表等。在實際工作中，應該有一套具體的流程來使用這些元數(shù)據(jù)方式，使得用戶的查詢請求能得到及時有效的反饋。

2系統(tǒng)的實現(xiàn)

業(yè)務數(shù)據(jù)來源主要是業(yè)務系統(tǒng)的物理表或者是相關視圖，源數(shù)據(jù)將直接抽取到ODS數(shù)據(jù)緩沖區(qū)，在此過程中為了盡可能的減輕對業(yè)務系統(tǒng)數(shù)據(jù)庫服務器的性能壓力，因此不對業(yè)務數(shù)據(jù)進行清洗、轉換等操作。從ODS數(shù)據(jù)緩沖區(qū)到ODS統(tǒng)一視圖區(qū)的過程中，需要對ODS數(shù)據(jù)緩沖區(qū)的原始業(yè)務數(shù)據(jù)進行相關的抽取、清洗、轉換，最后加載到ODS統(tǒng)一視圖區(qū)。按照企業(yè)建立數(shù)據(jù)“唯一事實”的要求，數(shù)據(jù)倉庫應為各級業(yè)務人員提供一致的信息視圖。因而，整個企業(yè)應共享統(tǒng)一的數(shù)據(jù)存儲模型。通過定義統(tǒng)一系統(tǒng)界面和數(shù)據(jù)查詢規(guī)范，為最終用戶指標分析提供支持，并根據(jù)業(yè)務指標體系和主題分析的要求，建立輔助決策分析模型，實現(xiàn)系統(tǒng)的前端實現(xiàn)方式。具體展現(xiàn)方式包括列表、數(shù)據(jù)透視表、文字說明、計量表、雷達圖、柱形圖、條形圖、線形圖、餅圖、組合圖、告警分析等。其中OLAP分析主要包括全網(wǎng)的負荷分析、發(fā)電量分析、用電量分析、購電量分析以及各個火電廠、水電廠和水庫的分析。按時間維度來對企業(yè)的調度運行情況進行具體的分析。

作者：安弟 單位：國網(wǎng)銀川供電公司