在整個數(shù)據分析流程中，數(shù)據處理的時間往往要占據70%以上!

這個數(shù)字有沒有讓你震驚呢?

為了提高分析效率和質量，借用數(shù)據倉庫進行數(shù)據分析是一個很好的選擇，詳細的工作方法本文都有所介紹。

首先，我們來了解一下數(shù)據倉庫吧!數(shù)據倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反應歷史變化的數(shù)據集合。

那數(shù)據分析又是干什么的呢?

筆者憑借個人的經驗認為，基于業(yè)務需求，結合歷史數(shù)據，利用相關統(tǒng)計學方法和某些數(shù)據挖掘工具對數(shù)據進行整合、分析，并形成一套最終解決某個業(yè)務場景的方案就是數(shù)據分析的過程。

數(shù)據分析大致包括以下流程：業(yè)務理解–數(shù)據理解–數(shù)據準備–建模–評估–部署

由于數(shù)據分析對數(shù)據質量、格式的要求天然就比較高，對數(shù)據的理解也必須非常深刻，使得數(shù)據契合業(yè)務需求也要一定的過程，這樣，根據我們的經驗，在整個數(shù)據分析流程中，用于數(shù)據處理的時間往往要占據70%以上。

因此，如何高效、快速地進行數(shù)據理解和處理，往往決定了數(shù)據分析項目的進度和質量。

而數(shù)據倉庫具有集成、穩(wěn)定、高質量等特點，基于數(shù)據倉庫為數(shù)據分析提供數(shù)據，往往能夠更加保證數(shù)據質量和數(shù)據完整性。

利用數(shù)據倉庫進行數(shù)據分析無疑能夠給我們的工作帶來很大便利，那么，究竟要如何操作呢?

我們首先需要了解數(shù)據倉庫的優(yōu)勢，數(shù)據倉庫至少可以從如下三個方面提升數(shù)據分析效率：

1. 數(shù)據理解

數(shù)據倉庫是面向主題的，所以其自身與業(yè)務結合就相對緊密和完善，更方便數(shù)據分析師基于數(shù)據理解業(yè)務。

下圖是Teradata關于金融行業(yè)的成熟模型：

我們可以看到，整個數(shù)據倉庫被分為十大主題，而金融行業(yè)所有的數(shù)據、業(yè)務都會被這十大主題涵蓋。

當我們需要找某個信用卡賬戶信息時，我們就去協(xié)議(AGREEMENT)主題，需要某次存款交易信息時就去探尋事件(EVENT)主題，需要某個理財產品相關信息就挖掘產品(PRODUCT)主題，如此類推，我們就會發(fā)現(xiàn)十大主題將整個金融行業(yè)的數(shù)據劃分得非常清晰，我們需要做的就是拿到業(yè)務需求，理解數(shù)據倉庫的模型，數(shù)據理解也就水到渠成了。

2. 數(shù)據質量

數(shù)據分析要求數(shù)據是干凈、完整的，而數(shù)據倉庫最核心的一項工作就是ETL過程，流程如下：

而數(shù)據倉庫已經對源系統(tǒng)的數(shù)據進行了業(yè)務契合的轉換，以及臟數(shù)據的清洗，這就為數(shù)據分析的數(shù)據質量做了較好的保障。

3. 數(shù)據跨系統(tǒng)關聯(lián)

上圖是數(shù)據倉庫的一個簡單架構，可以看到，各業(yè)務源系統(tǒng)的數(shù)據經過ETL過程后流入數(shù)據倉庫，當不同系統(tǒng)數(shù)據整合到數(shù)據倉庫之后，至少解決了數(shù)據分析中的兩個問題：

第一，跨系統(tǒng)數(shù)據收集問題，同一個客戶的儲蓄交易和理財交易我們在同一張事件表就可以找到;

第二，跨系統(tǒng)關聯(lián)問題，同一個客戶可能在不同系統(tǒng)中記錄了不同的客戶號，甚至存在不同的賬號，進行數(shù)據整合時，總是需要找到共同的“紐帶”來關聯(lián)來自不同系統(tǒng)的信息，而數(shù)據倉庫在ETL過程中就會整合相關客戶信息，完美解決跨系統(tǒng)關聯(lián)問題。

可見，數(shù)據倉庫是整合的、面向主題的、數(shù)據質量高的、跨系統(tǒng)的優(yōu)質數(shù)據源，那么，我們該如何充分利用這些優(yōu)勢呢?

筆者總結了如下經驗：

1. 研究數(shù)據倉庫模型：數(shù)倉的精髓就是面向主題的模型，能理解各大主題域范疇，熟悉不同主題間的關系，基本就掌握了數(shù)倉的架構;

2. 學習數(shù)據倉庫設計文檔：設計文檔是業(yè)務與數(shù)據，數(shù)倉與源系統(tǒng)的橋梁，熟悉表間mapping映射，就能快速定位需求變量的來源和處理邏輯，全面了解相關業(yè)務;

3. 熟悉數(shù)據字典表：數(shù)據字典是數(shù)據倉庫物理存儲的信息庫，可以通過數(shù)據字典了解庫、表、字段不同層級的關系、存儲、類型等信息;

4. 研究ETL腳本：學習幾個數(shù)據倉庫ETL加工腳本，能更細致的探索數(shù)據加工處理邏輯，更清楚的理解數(shù)倉加工模式，快速掌握數(shù)據加工技巧;

5. 觀察明細數(shù)據：想要真正了解數(shù)據，就必須對具體數(shù)據進行不同維度和層次的觀察;比如事件表，從交易類型、時間、渠道、業(yè)務種類等多個維度撈幾條數(shù)據，觀察某個相同條件下不同維度的交易變化，了解銀行交易的全景信息，幫助理解業(yè)務，熟悉數(shù)據。

事實上，除此之外，數(shù)據處理人員還應該從中學習到數(shù)據倉庫的思想：面向主題，逐層加工。

面向主題是指讓雜亂的數(shù)據結合業(yè)務劃分，更容易著手處理原本雜亂的數(shù)據，數(shù)據處理人員只需知道哪些數(shù)據屬于哪個主題，然后基于主題再進一步處理;

逐層加工則是指讓細粒度的數(shù)據走向寬表的過程清晰，有層次，數(shù)據處理過程中清楚每一步的產出是什么。

其實，每一個數(shù)據分析師或者數(shù)據處理師都會有自己的工作習慣和經驗，以上是筆者經歷兩年多數(shù)據倉庫開發(fā)、三年數(shù)據倉庫和數(shù)據分析兼職者的經驗總結的一些心得，希望對大家有所幫助。