數據倉庫的基本概念

數據倉庫概念：

英文名稱為Data Warehouse，可簡寫為DW或DWH。數據倉庫的目的是構建面向分析的集成化數據環(huán)境，為企業(yè)提供決策支持（Decision Support）。它出于分析性報告和決策支持目的而創(chuàng)建。

數據倉庫本身并不“生產”任何數據，同時自身也不需要“消費”任何的數據，數據來源于外部，并且開放給外部應用，這也是為什么叫“倉庫”，而不叫“工廠”的原因。

基本特征：

數據倉庫是面向主題的、集成的、非易失的和時變的數據集合，用以支持管理決策。

面向主題：

傳統數據庫中，最大的特點是面向應用進行數據的組織，各個業(yè)務系統可能是相互分離的。而數據倉庫則是面向主題的。主題是一個抽象的概念，是較高層次上企業(yè)信息系統中的數據綜合、歸類并進行分析利用的抽象。在邏輯意義上，它是對應企業(yè)中某一宏觀分析領域所涉及的分析對象。

集成性：

通過對分散、獨立、異構的數據庫數據進行抽取、清理、轉換和匯總便得到了數據倉庫的數據，這樣保證了數據倉庫內的數據關于整個企業(yè)的一致性。

數據倉庫中的綜合數據不能從原有的數據庫系統直接得到。因此在數據進入數據倉庫之前，必然要經過統一與綜合，這一步是數據倉庫建設中最關鍵、最復雜的一步，所要完成的工作有：

要統一源數據中所有矛盾之處，如字段的同名異義、異名同義、單位不統一、字長不一致，等等。進行數據綜合和計算。數據倉庫中的數據綜合工作可以在從原有數據庫抽取數據時生成，但許多是在數據倉庫內部生成的，即進入數據倉庫以后進行綜合生成的。

下圖說明一個保險公司綜合數據的簡單處理過程，其中數據倉庫中與“保險” 主題有關的數據來自于多個不同的操作型系統。這些系統內部數據的命名可能不同，數據格式也可能不同。把不同來源的數據存儲到數據倉庫之前，需要去除這些不一致。

數倉主題非易失性（不可更新性）

數據倉庫的數據反映的是一段相當長的時間內歷史數據的內容，是不同時點的數據庫快照的集合，以及基于這些快照進行統計、綜合和重組的導出數據。

數據非易失性主要是針對應用而言。數據倉庫的用戶對數據的操作大多是數據查詢或比較復雜的挖掘，一旦數據進入數據倉庫以后，一般情況下被較長時間保留。數據倉庫中一般有大量的查詢操作，但修改和刪除操作很少。因此，數據經加工和集成進入數據倉庫后是極少更新的，通常只需要定期的加載和更新。

時變性

數據倉庫包含各種粒度的歷史數據。數據倉庫中的數據可能與某個特定日期、星期、月份、季度或者年份有關。數據倉庫的目的是通過分析企業(yè)過去一段時間業(yè)務的經營狀況，挖掘其中隱藏的模式。雖然數據倉庫的用戶不能修改數據，但并不是說數據倉庫的數據是永遠不變的。分析的結果只能反映過去的情況，當業(yè)務變化后，挖掘出的模式會失去時效性。因此數據倉庫的數據需要更新，以適應決策的需要。從這個角度講，數據倉庫建設是一個項目，更是一個過程。數據倉庫的數據隨時間的變化表現在以下幾個方面：

（1） 數據倉庫的數據時限一般要遠遠長于操作型數據的數據時限。

（2） 操作型系統存儲的是當前數據，而數據倉庫中的數據是歷史數據。

（3） 數據倉庫中的數據是按照時間順序追加的，它們都帶有時間屬性。

1． 數據倉庫與數據庫的區(qū)別

數據庫與數據倉庫的區(qū)別實際講的是 OLTP 與 OLAP 的區(qū)別。

操作型處理，叫聯機事務處理 OLTP（On－Line Transaction Processing，），也可以稱面向交易的處理系統，它是針對具體業(yè)務在數據庫聯機的日常操作，通常對少數記錄進行查詢、修改。用戶較為關心操作的響應時間、數據的安全性、完整性和并發(fā)支持的用戶數等問題。傳統的數據庫系統作為數據管理的主要手段，主要用于操作型處理，像Mysql，Oracle等關系型數據庫一般屬于OLTP。

分析型處理，叫聯機分析處理 OLAP（On－Line Analytical Processing）一般針對某些主題的歷史數據進行分析，支持管理決策。

首先要明白，數據倉庫的出現，并不是要取代數據庫。數據庫是面向事務的設計，數據倉庫是面向主題設計的。數據庫一般存儲業(yè)務數據，數據倉庫存儲的一般是歷史數據。

數據庫設計是盡量避免冗余，一般針對某一業(yè)務應用進行設計，比如一張簡單的User表，記錄用戶名、密碼等簡單數據即可，符合業(yè)務應用，但是不符合分析。數據倉庫在設計是有意引入冗余，依照分析需求，分析維度、分析指標進行設計。

數據庫是為捕獲數據而設計，數據倉庫是為分析數據而設計。

以銀行業(yè)務為例。數據庫是事務系統的數據平臺，客戶在銀行做的每筆交易都會寫入數據庫，被記錄下來，這里，可以簡單地理解為用數據庫記賬。數據倉庫是分析系統的數據平臺，它從事務系統獲取數據，并做匯總、加工，為決策者提供決策的依據。比如，某銀行某分行一個月發(fā)生多少交易，該分行當前存款余額是多少。如果存款又多，消費交易又多，那么該地區(qū)就有必要設立ATM了。

顯然，銀行的交易量是巨大的，通常以百萬甚至千萬次來計算。事務系統是實時的，這就要求時效性，客戶存一筆錢需要幾十秒是無法忍受的，這就要求數據庫只能存儲很短一段時間的數據。而分析系統是事后的，它要提供關注時間段內所有的有效數據。這些數據是海量的，匯總計算起來也要慢一些，但是，只要能夠提供有效的分析數據就達到目的了。

數據倉庫，是在數據庫已經大量存在的情況下，為了進一步挖掘數據資源、為了決策需要而產生的，它決不是所謂的“大型數據庫”。

2．  數據倉庫分層架構

按照數據流入流出的過程，數據倉庫架構可分為：源數據、數據倉庫、數據應用

數據倉庫

數據倉庫的數據來源于不同的源數據，并提供多樣的數據應用，數據自下而上流入數據倉庫后向上層開放應用，而數據倉庫只是中間集成化數據管理的一個平臺。

源數據：此層數據無任何更改，直接沿用外圍系統數據結構和數據，不對外開放；為臨時存儲層，是接口數據的臨時存儲區(qū)域，為后一步的數據處理做準備。

數據倉庫：也稱為細節(jié)層，DW層的數據應該是一致的、準確的、干凈的數據，即對源系統數據進行了清洗（去除了雜質）后的數據。

數據應用：前端應用直接讀取的數據源；根據報表、專題分析需求而計算生成的數據。

數據倉庫從各數據源獲取數據及在數據倉庫內的數據轉換和流動都可以認為是ETL（抽取Extra， 轉化Transfer， 裝載Load）的過程，ETL是數據倉庫的流水線，也可以認為是數據倉庫的血液，它維系著數據倉庫中數據的新陳代謝，而數據倉庫日常的管理和維護工作的大部分精力就是保持ETL的正常和穩(wěn)定。

那么為什么要數據倉庫進行分層呢？

用空間換時間，通過大量的預處理來提升應用系統的用戶體驗（效率），因此數據倉庫會存在大量冗余的數據；不分層的話，如果源業(yè)務系統的業(yè)務規(guī)則發(fā)生變化將會影響整個數據清洗過程，工作量巨大。

通過數據分層管理可以簡化數據清洗的過程，因為把原來一步的工作分到了多個步驟去完成，相當于把一個復雜的工作拆成了多個簡單的工作，把一個大的黑盒變成了一個白盒，每一層的處理邏輯都相對簡單和容易理解，這樣我們比較容易保證每一個步驟的正確性，當數據發(fā)生錯誤的時候，往往我們只需要局部調整某個步驟即可。