基于可復(fù)用構(gòu)件思想的ETL架構(gòu)設(shè)計(jì)
加入技術(shù)交流群
2.3 銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)ETL架構(gòu)設(shè)計(jì)
基于可復(fù)用構(gòu)件思想銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)ETL架構(gòu)具體包含六個(gè)功能模塊(如圖3所示)包括：元數(shù)據(jù)抽取模塊、可重用構(gòu)件選擇和導(dǎo)入模塊、數(shù)據(jù)倉庫架構(gòu)自動(dòng)維護(hù)模塊、ETL過程定義模塊、ETL調(diào)度模塊、ETL構(gòu)件生成模塊。各個(gè)模塊的具體功能分工如下：
(1)元數(shù)據(jù)抽取模塊。這個(gè)模塊主要完成兩項(xiàng)工作：抽取銀聯(lián)業(yè)務(wù)數(shù)據(jù)和維度數(shù)據(jù)元數(shù)據(jù)，并在此基礎(chǔ)上對(duì)系統(tǒng)進(jìn)行更精確的定義，例如銀聯(lián)各類數(shù)據(jù)源提供的時(shí)間周期、銀聯(lián)數(shù)據(jù)倉庫數(shù)據(jù)保留的時(shí)間和備份頻率等信息。
(2)可重用構(gòu)件的選擇和導(dǎo)入模塊。在銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)的分析和設(shè)計(jì)階段，已經(jīng)識(shí)別了抽取層、集成轉(zhuǎn)換層等各層有重用價(jià)值的構(gòu)件。為了管理和重用這些構(gòu)件，構(gòu)件選擇和導(dǎo)入模塊的功能有兩個(gè)：第一，從銀聯(lián)構(gòu)件庫中抽取已經(jīng)封裝的全流水交易數(shù)據(jù)抽取構(gòu)件、集成轉(zhuǎn)換構(gòu)件、KPI轉(zhuǎn)換構(gòu)件、維度類數(shù)據(jù)集成轉(zhuǎn)換構(gòu)件(包括商戶、機(jī)構(gòu)、終端、商戶類別、地區(qū)信息五類構(gòu)件)、KPI自動(dòng)測(cè)試類構(gòu)件，將其導(dǎo)入到ETL過程庫，按照ETL架構(gòu)(見圖1)對(duì)導(dǎo)人的構(gòu)件分層組織，生成系統(tǒng)的ETL過程框架(如圖4(a)所示)，圖4(a)中的ETL過程鏈中三個(gè)JOB節(jié)點(diǎn)分別對(duì)應(yīng)ETL架構(gòu)(見圖1)中的抽取層、數(shù)據(jù)集成轉(zhuǎn)換層、特殊處理層，圖4(b)～(d)分別對(duì)應(yīng)各導(dǎo)人構(gòu)件(一個(gè)JOB節(jié)點(diǎn)代表一個(gè)導(dǎo)人構(gòu)件的處理過程)在這三個(gè)層次中的組織形式。第二，模塊可根據(jù)新項(xiàng)目銀聯(lián)分公司特殊業(yè)務(wù)規(guī)則和指標(biāo)口徑配置每個(gè)構(gòu)件的處理規(guī)則，將配置信息加入元數(shù)據(jù)庫中。
(3)數(shù)據(jù)倉庫架構(gòu)自動(dòng)維護(hù)模塊。數(shù)據(jù)倉庫架構(gòu)自動(dòng)維護(hù)模塊主要功能是依據(jù)元數(shù)據(jù)庫中的信息，為銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)完成數(shù)據(jù)倉庫的創(chuàng)建和初始化工作，完成事實(shí)表、維度表創(chuàng)建，完成每個(gè)構(gòu)件需要的配置表、中間表和臨時(shí)表的建立等工作，而這些原本需要用手工來實(shí)現(xiàn)和維護(hù)的。
(4)ETL過程定義模塊。在初始框架的基礎(chǔ)上，可通過ETL定義模塊可視化地定義構(gòu)件庫中沒有可重用構(gòu)件的ETL過程，例如手續(xù)費(fèi)和品牌費(fèi)抽取、商戶信息抽取(如圖5所示)、終端信息過程等，使整個(gè)銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)的ETL趨于完善。
(5)ETL調(diào)度模塊。ETL調(diào)度模塊可以根據(jù)系統(tǒng)的調(diào)度設(shè)置，執(zhí)行ETL過程庫中的ETL過程，實(shí)現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換、加載、換算等工作。
(6)可重用構(gòu)件生成模塊。對(duì)于新定義的ETL過程，若可重用價(jià)值高，可通過ETL構(gòu)件生成模塊從ETL過程庫中抽取相應(yīng)ETL處理過程包裝成可重用構(gòu)件?？芍赜脴?gòu)件一般包括以下內(nèi)容：ETL處理過程、配置過程說明文檔、相關(guān)表(配置表、中間表和臨時(shí)表)的信息、初始化數(shù)據(jù)、特殊規(guī)則配置功能界面，構(gòu)件這些構(gòu)成部分由ETL構(gòu)件生成模塊分別存入到構(gòu)件庫中相關(guān)表中。
3 結(jié) 語
這里介紹了一個(gè)基于可復(fù)用構(gòu)件思想的ETL架構(gòu)，以北京銀聯(lián)、江蘇銀聯(lián)、浙江銀聯(lián)等10家省級(jí)銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)為例，介紹了該架構(gòu)各層構(gòu)件的識(shí)別過程，設(shè)計(jì)了ETL模塊構(gòu)成以及各模塊主要功能。該架構(gòu)已經(jīng)在10家省級(jí)銀聯(lián)分公司的統(tǒng)計(jì)分析系統(tǒng)的ETL構(gòu)建中應(yīng)用，實(shí)踐表明該架構(gòu)是有效的，它能夠在比較短的時(shí)間內(nèi)完成統(tǒng)計(jì)分析系統(tǒng)的構(gòu)建，可有效縮短系統(tǒng)的開發(fā)周期，大幅度降低各分公司的時(shí)間成本和資金成本，對(duì)于推動(dòng)數(shù)據(jù)倉庫和商業(yè)智能在銀聯(lián)各個(gè)省級(jí)分公司的應(yīng)用有顯著意義和使用價(jià)值。
評(píng)論