人大金倉KINGBASE 實現(xiàn)東莞衛(wèi)健委多個獨立單位異構(gòu)數(shù)據(jù)源數(shù)據(jù)實時同步

為落實推進“數(shù)字政府”改革建設(shè)工作，廣東省東莞市政務服務數(shù)據(jù)管理局于2020年5月下發(fā)《關(guān)于配合開展政務數(shù)據(jù)匯聚及治理的函》，并指出，東莞市下屬各部門應配合市政務數(shù)據(jù)大腦數(shù)據(jù)服務團隊開展數(shù)據(jù)摸查，數(shù)據(jù)匯聚和治理等相關(guān)工作。組織建立實時業(yè)務備庫，同時供市政務數(shù)據(jù)大腦采集數(shù)據(jù)，夯實數(shù)據(jù)匯聚和共享應用基礎(chǔ)是東莞市政務云國產(chǎn)化擴容項目建設(shè)目標之一。

在本案例涉及項目建設(shè)中，人大金倉通過在數(shù)據(jù)大腦健康云中提供在線業(yè)務備庫及實時備份方案的落地支撐，在總體日增量700+GB的負載壓力下，完成了客戶5個獨立單位多種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)實時同步工作。

項目背景

客戶需要將包括衛(wèi)生健康局的人力資源系統(tǒng)、醫(yī)療機構(gòu)藥事管理系統(tǒng)，醫(yī)療救護120指揮中心的120調(diào)度指揮系統(tǒng)，疾病預防控制中心的疫苗冷鏈監(jiān)測報警系統(tǒng)，市屬公立醫(yī)院管理中心的市屬公立醫(yī)院資產(chǎn)處置系統(tǒng)、市屬公立醫(yī)院經(jīng)濟監(jiān)管平臺系統(tǒng)、市屬公立醫(yī)院綜合運營管理系統(tǒng)及市中心血站的現(xiàn)代血站管理系統(tǒng)等在內(nèi)的各單位業(yè)務系統(tǒng)數(shù)據(jù)匯聚到數(shù)據(jù)大腦健康云。

項目涉及的東莞市衛(wèi)健委5個單位10個業(yè)務系統(tǒng)，其中部分系統(tǒng)業(yè)務負荷壓力較大，并發(fā)高，數(shù)據(jù)量大，對數(shù)據(jù)同步的連續(xù)性、穩(wěn)定性及時效性要求較高。

客戶痛點

網(wǎng)絡不通，系統(tǒng)分散：衛(wèi)健委5個單位信息化建設(shè)各自獨立，網(wǎng)絡隔離，系統(tǒng)分散，無法為衛(wèi)健中心的整體數(shù)據(jù)分析提供數(shù)據(jù)基礎(chǔ)。

異構(gòu)數(shù)據(jù)源眾多：本項目計劃對接同步10大業(yè)務系統(tǒng)，將各系統(tǒng)數(shù)據(jù)在運行在健康云中的KES數(shù)據(jù)庫進行實時同步，各系統(tǒng)底層采用包括Oracle、SQLServer、MySQL等各類異構(gòu)數(shù)據(jù)庫。同步軟件及方案也需具備完善的異構(gòu)數(shù)據(jù)解析轉(zhuǎn)換能力，目標端KES數(shù)據(jù)庫也需要提供各異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)兼容性支撐。

數(shù)據(jù)規(guī)模、性能及穩(wěn)定性考驗：需同步的各業(yè)務系統(tǒng)已積累了大量數(shù)據(jù)，總體存量數(shù)據(jù)超5TB，增量數(shù)據(jù)每天700+GB規(guī)模；在保證7*24小時穩(wěn)定運行的同時，同步數(shù)據(jù)延遲要求不超1秒。

金倉方案

人大金倉采用異構(gòu)數(shù)據(jù)同步軟件KFS，針對上述需求痛點，提供兼容多源異構(gòu)數(shù)據(jù)庫平臺、面向海量數(shù)據(jù)可7*24小時穩(wěn)定高效支撐的解決方案。

已上線系統(tǒng)拓撲示意圖

異構(gòu)數(shù)據(jù)平臺兼容及準確性保障

KFS可以實現(xiàn)不同結(jié)構(gòu)的數(shù)據(jù)平臺的連接，實現(xiàn)數(shù)據(jù)的互通。項目涉及Oracle、SQLServer及MySQL等異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)同步。KFS采用基于日志解析的邏輯同步技術(shù)，在同步作業(yè)中提供異構(gòu)數(shù)據(jù)庫與KES之間從數(shù)據(jù)類型到SQL語句的兼容性配置，保障異構(gòu)庫間數(shù)據(jù)同步的正確性。

性能及穩(wěn)定性保障

為最大程度保證源端業(yè)務的性能及穩(wěn)定性，KFS所有源端同步節(jié)點均采用分離部署架構(gòu)。針對小機+Windows+Oracle RAC的源端數(shù)據(jù)庫系統(tǒng)架構(gòu)組合，KFS提供基于離線Redo日志解析技術(shù)的性能優(yōu)化方案，最大程度滿足客戶性能需求。

對于多系統(tǒng)多庫表同步場景需求，采用KFS的多路并行執(zhí)行方式以提高初始遷移及實時同步的吞吐量，保證高并發(fā)業(yè)務情況下數(shù)據(jù)同步延遲保持在亞秒級水平。

實施成果

本期項目完成了東莞市5個單位10個系統(tǒng)（已正式上線9個）的健康云上實時業(yè)務備庫數(shù)據(jù)同步建設(shè)，KFS累計部署達20節(jié)點；

完成了Oracle（單機及RAC）、SQLServer及MySQL等多種異構(gòu)數(shù)據(jù)源的對接；

累計完成10000+表對象及近5TB數(shù)據(jù)遷移；

在單系統(tǒng)最大日均同步增量數(shù)據(jù)200+ GB，總體日均增量700+ GB情況下，通過架構(gòu)、系統(tǒng)及產(chǎn)品的多層優(yōu)化，保證源端高負載情況下，數(shù)據(jù)同步延遲在1秒以內(nèi)。

結(jié)語

面對高負載、海量數(shù)據(jù)、多源異構(gòu)的多業(yè)務系統(tǒng)實時同步場景，人大金倉憑借KFS靈活的架構(gòu)方式、多類型異構(gòu)數(shù)據(jù)庫日志解析技術(shù)支持及深度的性能優(yōu)化手段，以及目標端KES數(shù)據(jù)庫優(yōu)秀的各異構(gòu)數(shù)據(jù)庫兼容能力，成功為東莞衛(wèi)健委多系統(tǒng)提供了數(shù)據(jù)高可靠性保障，同時為衛(wèi)健中心的整體數(shù)據(jù)分析提供了互聯(lián)互通的數(shù)據(jù)基礎(chǔ)，也為本項目后續(xù)系統(tǒng)同步建設(shè)及其他類似項目建設(shè)需求提供了標準的落地方案和良好的示范。