Embed Size (px)
Citation preview
2015-10-08 [email protected] Page 1 of 4
淺談資料倉儲 (Data Warehouse) 袁君雄 2015-10-08 資料倉儲旨在支持商業智慧 (Business Intelligence) 活動的資料庫，是為了幫助用戶了解和
增強其組織的績效，專門用於創造針對高階管理人員的查詢 (Query) 、 報告 (Reporting) 、分析 (Analysis) 、趨勢分析 (Trend Analysis) ，如年度和季度的比較，而不是用於處理日常
事務。它包括來自企業內部各種來源的運營資料，集成 (Integration)、整合 (Consolidation) 到支持業務分析和企業決策的單一資料庫，包含從交易資料中得到的當前和歷史資料。
開發資料倉儲的主要目的是 將企業內部各種不同系統的歷史運營資料整合到一致的倉庫，
集成了一套完整的流程，工具和設施，創造和維持一個信息環境， 以提供企業內部整體的資料用於查詢、分析、管理、和決策。
資料倉儲的環境集合了一套完整的流程、工具和設施，包括提取、轉換和載入 (ETL) 解決
方案，聯機分析處理 (OLAP= On-Line Analytical Processing) 引擎，客戶端分析工具和其它應
用程序管理資料收集的過程。資料倉儲最重要的內容是資料集成 (Data Integration) 的技術
和準備資料使用的設計、過程和管理 (Data Administration and Data Governance)。
2015-10-08 [email protected] Page 2 of 4
Bill Inmon 的設計方式是自頂向下 (Top Down)，首先以關聯式模型 (Relational Model) 設計
資料倉儲，再以三維模型 (Dimensional Model) 設計資料超市。 Ralph Kimball 的設計方式是自下而上 (Bottom Up) ，首先以三維模型設計資料超市，然後
將這些三維模型集成在一起，創建一個廣泛的三維模型資料倉儲。 資料倉儲的基本架構
Staging Area
Data Warehouse
Operational Data StoreMetadata
Management
ETL Process
Data Mart
Data Sources
Data Mart
OLAP OLAPOLTP
Exception Handling
ArchiveMechanism
Control Mechanism
Security Mechanism
資料源 DS = Data Source
資料源可以是從已經存在的聯機事務處理 (OLTP = Online Transaction Processing) 、商業應
用的關聯式資料庫 (Relational Database) 、業務系統 (Operational System)、歷史資料、外部
資料或信息。它們可以駐留在許多不同的平台，包含結構化信息，文件、表格 (Tables) 或電子表格 (Spreadsheets)，或非結構化信息如文字文件 (Text Files) 或圖片等多媒體信息。
OLTP 是處理企業日常業務的操作需求。一個 OLTP 允許即時 (Real Time) 處理，以支持零售
過程、電子商務等的輸入、更新、刪除、查詢 (Insert 、Update 、Delete、Query) 應用。
它有助於日常事務處理和管理的應用，例如在許多行業包括銀行、航空公司、薪資資料、
報稅資料、犯罪紀錄、學校註冊、購物、超市、銷售紀錄和製造資料輸入和檢索交易。
2015-10-08 [email protected] Page 3 of 4
暫存區 SA = Staging Area
暫存區不提供使用者查詢服務，它是一個工作平台、一個臨時資料庫或區域用來從資料源
提取資料暫時存儲，以用於清理、轉換、修改、集成、組合、標準化和重新格式化資料，
準備輸出載入到 ODS、DW 和 DM。 操作資料庫 ODS = Operational Data Store
操作資料庫包含各種各樣來自資料源的資料，呈現企業經營在單個時間點的一個連貫的集
成 (Integration) 和整合 (Consolidation) 的狀態以提供營運效益分析和決策支持過程。
例如，一個企業可以有不同的資料庫，訂單輸入資料、物料資料和客戶資料。三個資料庫
集成的 ODS 滿足了即時 (Real Time) 客戶關係管理 (Customer Relationship Management) 流程。目前操作資料庫的底層架構 (Schema) 是以關聯式模型 (Relational Model) 為主。許多
美國大公司在實作上也經常用它作企業資料模型 (Enterprise Data Model) 的基礎。 資料倉儲 DW = Data Warehouse
資料倉儲是來自資料源的資料集成的匯總資料庫，以方便查詢和分析。它根據業務需求，
提供從非常詳細的歷史細節資料到摘要資料以支援管理決策。 資料超市 DM = Data Marts
資料超市是簡單形式的資料倉儲，它是由其功能範圍而不是由其資料庫的大小來定義的。
它包含特定業務單元、部門、或一組用戶的企業資料的一個子集 (Subset)。該子集距焦在
一個特定主題或功能，如銷售、財務和市場營銷，以提供詳細、摘要、歷史、總結資料。 提取，轉換和載入 ETL = Extract, Transform and Load
ETL 是一個資料處理過程，從企業內部運營的各種資料源，提取資料、轉換資料、然後將
資料輸出載入到 ODS、DW 和 DM。這是資料集成和整合的基本資料流程 (Data Flow) 。 異常處理 Exception Handling
異常處理是一組程序和過程，在 ETL 流程中，對違反轉換規則，反常或異常情況而改變正
常程序執行流動的資料，作進一步的調查和特殊的處理。 中繼資料管理 Metadata Management
中繼資料 (Metadata) 是用資料描述資料 (Data about data)。中繼資料管理是一組處理和描
述資料的程序和規則，包括名稱，定義，業務規則，物理屬性，來源和轉換規則的集合。 控制機制 Control Mechanism
控制機制的目的是管理系統的環境包括，作業控制， 作業調度（時間和事件），監控，
錯誤處理和通知。
2015-10-08 [email protected] Page 4 of 4
安全機制 Security Mechanism
安全機制的目的是管理系統的安全，如資料加密的策略和管理員和使用者的權限等等。 存檔 Archive
存檔是將訪問率較低的歷史記錄另外儲存以維護系統組織的功能。儲存的檔案不僅包括舊
的資料，也包括描述舊資料的特徵的中繼資料。 商業智慧 BI = Business Intelligence
商業智慧是一組聯機分析處理(OLAP = On-Line Analytical Processing) 的技術和工具，將原始
資料轉化為對業務分析的目的意義和有用的信息。許多資料倉儲或資料超市的資料是使用
商業智慧的應用程式來處理。
OLAP 應用程式提供資料挖掘和分析的功能，為決策者提供了一個平台讓使用者容易且選
擇性的提取資料和從不同的觀點查看資料，以產生決策信息的處理。 預測分析 Predictive analysis
預測分析是使用複雜的數學模型，查找和量化資料的隱藏模式用於預測未來的發展趨勢。
它和 OLAP 不同之處在於 OLAP 側重於歷史資料的分析，而預測分析側重於未來。 資料治理 Data Governance
資料治理是一組程序和過程，對資料和相關的資料資產的正式執行、管理、紀律和行為，
以管理整個企業的資料資產。資料管理 (Data Administration) 是其重要的組成部分。
