南京迪塔維數據技術有限公司，以數據之路為初心，自2014年成立以來，經過7年多的深耕，公司秉承著“孜孜問道，數業專攻”的理念，在數據技術上不斷顛覆力求精進，在產品理念上也堅持了 “客戶定義產品”的發展思路，逐步在數據技術和教育行業的交叉口站穩腳跟。
在解決方案正式發布前，我們將多年來積累的理念與解決方案進行分享，歡迎轉發、關注。本文作為系列文章的開篇，首先重點介紹數據倉庫技術相關架構、概念和組成。
概念解讀
01
數據倉庫
目前數據倉庫的主流定義是數據倉庫之父Bill Inmon在1991年出版的《Building the Data Warehouse》一書中所提出的。
數據倉庫是一個面向主題的（Subject Oriented）、集成的（Integrate）、相對穩定的（Non-Volatile）、反映歷史變化（Time Variant）的數據集合，用于支持管理決策。
根據定義，我們逐條解讀一下數據倉庫的特點如下：
面向主題：數據倉庫中的數據按照主題域進行組織、存儲，非嚴格第三范式結構。
集成的：分散的數據經過抽取、清洗后，經過系統加工、匯總和整理后，消除源數據的不一致性，形成整體的全局的信息。
相對穩定的：數據主要應用數據查詢、分析、輔助決策類應用，進入倉庫的數據一般會長期保存、相對穩定。
反應歷史變化：包含歷史信息（常用的數據切片、快照及數據拉鏈技術），歷史數據可追溯。
看到上述的特征大家會發現，數據倉庫的特點也正是目前數據中臺和數據治理的核心建設目標。
02
數倉組成
數據倉庫結構包含：
基礎數據存儲，主要特點支持海量數據存儲，支持快速檢索。
數據集成工具，主要是ETL工具，以T+1的周期性同步、CDC增量同步、觸發式實時同步為主，數據源最早定義為關系型數據庫。
元數據，數據倉庫建模以星型模型為主，事實表+維表作為核心存儲結構，多表之間星型或者雪花型結構延展。表模型數據、描述信息以元數據的方式抽象重構。
可視化分析工具，主要是以T+1報表的形式，將數據倉庫中的數據進行可視化呈現，例如經典的28分析、庫存周轉率分析、商品關聯銷售分析等。
以上作為數據倉庫的基礎組成部分，在數據存儲方面，數倉又逐步形成了一直影響至今的幾個概念：
數據集市：以一個業務場景或應用域為邊界，構建出一個數倉子集，數據經過預計算后進行存儲。
ODS：用來存儲來自各業務系統的原始數據，是數據倉庫的前置庫，主要用于業務數據備份及減少ETL的復雜度。
03
數倉的沿革
隨著技術的沿革，我們可以發現，數據倉庫到大數據平臺再到數據中臺，各個基本架構依然存在，只是名稱和功能外延發生了擴展。舉例來說：
ODS從最早的數倉前置庫，逐步演進到現階段的數據湖，貼源層這樣的概念，數據內容從單純的關系型數據，逐步擴展到日志、信號數據，音視頻數據、圖文數據等，但是其核心作用依然與ODS的定義保持一致。
再比如說數據集市，在現在的中臺架構中，數據集市逐步演變為了專題庫、主題庫的概念，但是本質依然是為數據價值萃取，數據分析可視化等目標服務。
總結來說：
數據倉庫從提出概念到落地再到成熟，時間跨度上和Oracle從非主流到一統江湖的時間基本一致，在2010年左右數據倉庫的建設理念在企業、政府、金融等領域不斷落地、更新迭代，達到架構發展的頂峰時期。
隨著Hadoop開源大數據架構的推出，數據倉庫理念的統治地位也和 Oracle數據庫的地位一樣，逐漸開始進入了下行階段。
然而，無論是大數據平臺、數據中臺還是數據庫云都沒有在本質上顛覆數據倉庫架構，數據倉庫的核心理念依然存在于各個最新概念當中，不得不承認其思想和架構的經典。
迪塔維公司在創業伊始，有幸參與蘇州市國稅局的數據倉庫架構體系建設，截止到目前為止公司也一直在參與江蘇省稅務局的數據倉庫建設體系。
基礎架構圖如圖所示
經過多年的發展，稅務數據倉庫體系的基礎依然屹立不倒，依然作為目前大數據風險管理、稅收風險識別等內部業務的主要支撐平臺。
但是，隨著新興技術的發展，原有數據倉庫的核心組成部分已經發生了一些變化，這與高校信息化行業中數據平臺的發展非常類似。
下一期我們將重點解讀一下數據倉庫技術在近20年間教育行業落地中的發展和變化。
作者：王珂