數據倉庫在證券行業的建設規劃
信息科技
作者：鄭建勇
摘 要 隨著證券公司業務的不斷創新，各類數據逐漸占據了重要的地位，它成為了證券公司發展的重要生產力，本文針對目前數據在證券公司的業務可持續發展中起到越來越重要的地位的戰略思想，通過分析數據倉庫的建設規劃來闡述如何更好的幫助證券公司建設一套高效的數據倉庫平台。
關鍵詞 數據倉庫；證券；建設；規劃
中圖分類號TP392 文獻標識碼 A 文章編號 1674-6708（2014）122-0235-02
1 研究背景與意義
證券公司經過了多年的發展，特別在經過之前牛市的井噴，業務量的迅猛擴大，各家都在積極的建設各套係統，OA係統、集中交易係統、統一開戶係統、CRM係統及ERP財務係統、風險監控係統等等。這些係統為證券公司提高工作效率、加強管理水平起到了重要的作用。但是，隨著業務的不斷發展，數據量的
快速增加，當前的數據管理方式將受到進一步挑戰：大量數據對存儲體係、響應時間形成了挑戰；分散的數據和相對獨立的數據格式給數據的統一管理、後續的數據挖掘和決策分析帶來了一定的困難，業務係統變化導致數據源係統的混亂。基於這種情況，急需建設一套數據倉庫係統，來有效的管理和應用各類數據。
2 建設目標
2.1 建設公司級數據倉庫
將數據邏輯模型固化，形成存儲結構合理、層次明確的數據倉庫層級。對各類數據進行統一采集、存儲、清理、轉換、彙總，形成公司統一數據字典以及統一數據口徑。涵蓋結構化數據以及非結構化數據的整合。
2.2 構建公司級數據倉庫模型
以金融行業為藍本，兼顧證券行業特點，具有穩定性、可擴展性、靈活性以及前瞻性。數據倉庫模型具有清晰的主題結構，主題域涵蓋證券公司各項業務，能夠支撐運營管理、風險管理、財務管理、客戶管理、谘詢服務等，囊括證券公司現有以及目前可預見的全部業務。
2.3 形成統一的數據調度、監控平台
主要實現EE作業、SE作業、命令行程序、PL/SQL程序等作業的定義、調度管理和運維監控。利用可視化的作業流程集成管理，實例化各種作業組件並通過拖拽方式設計業務處理的各個環節和觸發機製。通過統一的監控平台，可以監測整個數據倉庫的各程序運行情況、係統CUP和磁盤等資源占用情況以及數據庫表使用情況等。
2.4 建立統一的數據管控平台
實現在數據ETL過程中的元數據管理、數據標準管理和數據質量管理。元數據管理通過對相關的技術、業務元數據進行統一的歸集，實現數據間的血緣分析和影響分析；數據標準管理主要實現數據層麵的代碼數據標準化和業務層麵的作業標準化；數據質量管理主要涵蓋數據質量檢查定義、數據質量檢查、數據質量檢查分析、數據治理問題管理和數據質量知識管理。
2.5 打造規範的數據服務平台
在數據倉庫模型層統一、規範的數據基礎上，按照業務的特性整理出通用的指標數據，為業務管理係統提供數據服務。
3 建設規劃
數據倉庫數據處理的流程主要包括：通過數據采集，將各基礎業務係統數據集中、非結構化數據，同步到貼源數據層；再經過清洗、變換、轉換、標準化，依據企業的統一標準和規則對來自企業內外分散在不同係統的數據進行消除非一致性的集成和標準化的處理，數據按照一定的主題域進行組織存儲在核心層；通用指標彙總層按照業務數據的通用性彙總形成各種通用數據指標；業務指標層則根據各業務部門的不同需求對通用指標再加工，形成業務指標層；第三方應用集市根據應用要求，對數據進行預處理，並最終為應用層提供數據服務。