TiDB x 北京银行丨新一代分布式数据库的探索与实践
北京銀行作為中國(guó)最大的城商行,堅(jiān)持以數(shù)字化轉(zhuǎn)型統(tǒng)領(lǐng)發(fā)展模式、業(yè)務(wù)結(jié)構(gòu)、客戶結(jié)構(gòu)、營(yíng)運(yùn)能力、管理方式的五大轉(zhuǎn)型,分布式數(shù)據(jù)庫(kù)建設(shè)是北京銀行數(shù)字化轉(zhuǎn)型的重要組成部分。
在新時(shí)代、新監(jiān)管、新業(yè)態(tài)、新模式的數(shù)字化轉(zhuǎn)型背景下,監(jiān)管要求的不斷升級(jí)和完善給銀行業(yè)帶來了新的要求,銀行業(yè)必須持續(xù)進(jìn)行產(chǎn)品創(chuàng)新、管理精細(xì)化、流程優(yōu)化以應(yīng)對(duì)經(jīng)營(yíng)環(huán)境的變化。隨著金融環(huán)境漸趨包容開放的轉(zhuǎn)變、社會(huì)金融服務(wù)創(chuàng)新的層出不窮以及市場(chǎng)競(jìng)爭(zhēng)主體的多元化,金融環(huán)境市場(chǎng)競(jìng)爭(zhēng)更加激烈,數(shù)字化浪潮的推動(dòng)與金融科技的迅速崛起構(gòu)建起開放生態(tài)正成為銀行業(yè)的新趨勢(shì)。
2023年北京銀行的客戶數(shù)量突破了一個(gè)億,隨著客戶數(shù)量、賬戶數(shù)量、業(yè)務(wù)交易量的持續(xù)上升,在業(yè)務(wù)場(chǎng)景多元化的演進(jìn)下,傳統(tǒng)數(shù)據(jù)庫(kù)遇到了很多限制,比如數(shù)據(jù)的規(guī)模化存儲(chǔ)、交易TPS的持續(xù)攀升等。推進(jìn)分布式數(shù)據(jù)庫(kù)技術(shù)解決傳統(tǒng)數(shù)據(jù)庫(kù)痛點(diǎn)已經(jīng)成為推進(jìn)數(shù)字化轉(zhuǎn)型的關(guān)鍵點(diǎn)。
TiDB在北京銀行的應(yīng)用歷程
為順應(yīng)數(shù)字化時(shí)代的趨勢(shì),應(yīng)對(duì)金融業(yè)數(shù)字化轉(zhuǎn)型需求,北京銀行在2017年率先邁出了第一步,開始探索分布式數(shù)據(jù)庫(kù)。通過充分的調(diào)研測(cè)試,TiDB數(shù)據(jù)庫(kù)以其原生分布式架構(gòu)、一鍵擴(kuò)縮容以及應(yīng)用的無侵入性和MySQL兼容贏得了北京銀行2017年的選型。2018年,北京銀行基于TiDB上線了網(wǎng)聯(lián)銀聯(lián)無卡支付系統(tǒng),京信鏈系統(tǒng)。截止到2023年7月,北京銀行已上線198個(gè)TiDB數(shù)據(jù)節(jié)點(diǎn),共17952個(gè)微Core規(guī)模的TiDB集群,投產(chǎn)了20個(gè)重要業(yè)務(wù)平臺(tái)。
分布式金融業(yè)務(wù)平臺(tái)是北京銀行基于TiDB搭建的全新的金融業(yè)務(wù)平臺(tái),通過TiDB多用戶共享資源機(jī)制,構(gòu)建了查詢服務(wù)、數(shù)據(jù)監(jiān)控、風(fēng)險(xiǎn)防控等多項(xiàng)微服務(wù)架構(gòu),為客戶提供存款、查詢等多項(xiàng)服務(wù)。從2018年起,分布式金融業(yè)務(wù)平臺(tái)陸續(xù)對(duì)接網(wǎng)聯(lián)支付清算平臺(tái)、銀聯(lián)無卡快捷支付平臺(tái)、金融服務(wù)互聯(lián)平臺(tái)、網(wǎng)貸業(yè)務(wù)平臺(tái)等多個(gè)核心金融業(yè)務(wù)場(chǎng)景。平臺(tái)充分利用TiDB的HTAP混合業(yè)務(wù)處理能力,實(shí)現(xiàn)聯(lián)機(jī)業(yè)務(wù)和在線分析業(yè)務(wù)的隔離,支持的數(shù)據(jù)表超過80億+條數(shù)據(jù),支撐超過1億客戶的互聯(lián)網(wǎng)金融業(yè)務(wù),同時(shí)滿足聯(lián)機(jī)業(yè)務(wù)和實(shí)時(shí)分析應(yīng)用的不同場(chǎng)景需求。
歷史明細(xì)查詢平臺(tái)將核心系統(tǒng)各組件(如借記卡、個(gè)人存款、對(duì)公存款、個(gè)人貸款、對(duì)公貸款等)產(chǎn)生的交易明細(xì)記錄等信息準(zhǔn)實(shí)時(shí)同步到歷史明細(xì)查詢系統(tǒng),面向手機(jī)銀行、網(wǎng)銀、柜面終端提供賬戶信息查詢、歷史明細(xì)查詢等服務(wù)?;诜植际綌?shù)據(jù)庫(kù)TiDB構(gòu)建的歷史明細(xì)查詢平臺(tái)實(shí)現(xiàn)了數(shù)十個(gè)業(yè)務(wù)系統(tǒng)百TB級(jí)別數(shù)據(jù)的整合與供給,滿足高可用、高并發(fā)、高彈性的多業(yè)務(wù)應(yīng)用需求。一套創(chuàng)新的HTAP數(shù)據(jù)庫(kù)簡(jiǎn)化了原有大數(shù)據(jù)技術(shù)棧,穩(wěn)定支撐超10年海量交易數(shù)據(jù)的彈性存儲(chǔ)。平臺(tái)具備大規(guī)模實(shí)時(shí)多源匯聚、高時(shí)效性流式計(jì)算、大數(shù)據(jù)量復(fù)雜分析的能力,面向客戶和生態(tài)伙伴提供高并發(fā)、多維度數(shù)據(jù)訪問和實(shí)時(shí)分析服務(wù)。
互聯(lián)網(wǎng)理財(cái)承載著各類互聯(lián)網(wǎng)代銷渠道的理財(cái)業(yè)務(wù)流量,提供資產(chǎn)、產(chǎn)品維度的管理,客戶維度的理財(cái)合約管理以及與行內(nèi)關(guān)聯(lián)系統(tǒng)相關(guān)的開戶、客戶信息、支付等操作,與行外機(jī)構(gòu)相關(guān)的交易確認(rèn)、對(duì)賬、清結(jié)算等操作。為滿足客戶的多元化投資需求,北京銀行提供多款專屬理財(cái)產(chǎn)品,打造了種類豐富、期限多樣、購(gòu)買便捷的產(chǎn)品貨架?;ヂ?lián)網(wǎng)理財(cái)屬于OLTP類系統(tǒng),系統(tǒng)和數(shù)據(jù)容量更需要彈性擴(kuò)展能力,數(shù)據(jù)模型具有明顯的多維度特征,TiDB提供聯(lián)機(jī)加批量的混合處理方式,OLTP部分主要以API或文件方式對(duì)行內(nèi)、行外渠道提供服務(wù),OLAP部分主要通過數(shù)據(jù)、文件交換方式與大數(shù)據(jù)體系集成。
網(wǎng)聯(lián)支付清算平臺(tái)是獨(dú)立于現(xiàn)有銀行間支付清算機(jī)構(gòu)的新平臺(tái),根據(jù)中國(guó)人民銀行“斷直連”的要求,北京銀行對(duì)業(yè)務(wù)和系統(tǒng)進(jìn)行了整合,基于TiDB分布式數(shù)據(jù)庫(kù)研發(fā)了網(wǎng)聯(lián)支付清算平臺(tái),提供聯(lián)機(jī)報(bào)文處理、批量對(duì)賬處理等功能,實(shí)現(xiàn)了“斷直連”匯聚三方支付的處理能力。北京銀行率先在網(wǎng)聯(lián)支付場(chǎng)景實(shí)現(xiàn)了用國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)對(duì)傳統(tǒng)集中式數(shù)據(jù)庫(kù)的替換,滿足在交易量和數(shù)據(jù)量突增情況下,通過TiDB數(shù)據(jù)庫(kù)的彈性伸縮能力支撐業(yè)務(wù)的快速發(fā)展,且對(duì)應(yīng)用透明無感。
民生卡平臺(tái)承載北京民生卡業(yè)務(wù),北京民生卡是由北京市發(fā)改委主管,北京銀行發(fā)行的新型社會(huì)保障綜合服務(wù)卡,兼具社會(huì)保障、待遇發(fā)放、醫(yī)療健康、公園年票、金融服務(wù)等多項(xiàng)功能。TiDB支撐一卡通的柜面申請(qǐng),開卡、制卡、掛失、銷戶等操作,并提供個(gè)人卡信息查詢、市政單位的信息查詢職能。TiDB實(shí)現(xiàn)了數(shù)據(jù)的統(tǒng)一存儲(chǔ),憑借多維度數(shù)據(jù)訪問、數(shù)據(jù)熱點(diǎn)動(dòng)態(tài)平衡能力,向民生卡用戶提供不同維度、靈活條件的高并發(fā)數(shù)據(jù)查詢、分析、推送和下發(fā)服務(wù),以統(tǒng)一數(shù)據(jù)視圖提供對(duì)外數(shù)據(jù)庫(kù)服務(wù),打造極致的數(shù)字化用戶體驗(yàn)。
北京銀行的TiDB集群采用了兩地三中心高可用的五副本架構(gòu)。以網(wǎng)聯(lián)系統(tǒng)為例,在和平里、順義兩個(gè)IDC跨機(jī)房同城構(gòu)建分布式數(shù)據(jù)庫(kù)集群,每個(gè)IDC部署兩副本,西安IDC單副本做異地的數(shù)據(jù)同步,不承載業(yè)務(wù),同時(shí)在順義搭建了集群做本地的災(zāi)備。和平里、順義兩個(gè)主機(jī)房和西安異地備份機(jī)房采用2-2-1的模式,通過北京的四個(gè)副本向前端業(yè)務(wù)提供實(shí)時(shí)數(shù)據(jù)服務(wù),這個(gè)架構(gòu)可以高效地支撐聯(lián)機(jī)交易類業(yè)務(wù)。目前,最大記錄表的交易數(shù)已超過20億條,完全滿足高性能的金融業(yè)務(wù)的要求。
未來展望
后續(xù),北京銀行將繼續(xù)推進(jìn)國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)的技術(shù)研究和應(yīng)用推廣工作。首先是擴(kuò)展應(yīng)用場(chǎng)景,擴(kuò)大分布式數(shù)據(jù)庫(kù)在北京銀行內(nèi)部的應(yīng)用范圍,逐步替代國(guó)外的商用數(shù)據(jù)庫(kù),新建系統(tǒng)優(yōu)先使用分布式數(shù)據(jù)庫(kù)。第二,繼續(xù)提升價(jià)值收益,充分利用分布式數(shù)據(jù)庫(kù)的架構(gòu)提升差異化的金融服務(wù)能力。未來,不斷深入探索實(shí)踐,更好地掌握TiDB的特點(diǎn),充分利用TiDB擴(kuò)縮容和HTAP能力,快速地滿足不斷變化的業(yè)務(wù)需要,如實(shí)時(shí)營(yíng)銷、瞬時(shí)高并發(fā)場(chǎng)景等。
在應(yīng)用TiDB的過程中,北京銀行也在不斷地探索無縫版本升級(jí)的最佳實(shí)踐。在2022年,北京銀行把原先存量的TiDB數(shù)據(jù)庫(kù)從2.0、3.0等版本統(tǒng)一升級(jí)到了TiDB 4.0版本上,從而獲得新的功能特性,并在穩(wěn)定性和性能方面實(shí)現(xiàn)更好的提升。在分布式數(shù)據(jù)庫(kù)的應(yīng)用過程中,北京銀行積極推進(jìn)分布式數(shù)據(jù)庫(kù)相關(guān)的規(guī)范和標(biāo)準(zhǔn)化建設(shè),培養(yǎng)了一批專業(yè)的分布式數(shù)據(jù)庫(kù)設(shè)計(jì)、開發(fā)和運(yùn)維人才。
分布式數(shù)據(jù)庫(kù)為北京銀行的成功繪就了企業(yè)數(shù)字化藍(lán)圖,夯實(shí)了數(shù)字基礎(chǔ)設(shè)施,在構(gòu)建數(shù)字運(yùn)營(yíng)體系等方面取得了一系列突破。這使得北京銀行不僅在規(guī)模效益方面取得了均衡增長(zhǎng),而且為邁入新征程打好了堅(jiān)實(shí)的基礎(chǔ)。北京銀行將充分抓住數(shù)字化轉(zhuǎn)型的戰(zhàn)略機(jī)遇,錨定戰(zhàn)略方向,守正創(chuàng)新,加速邁向高質(zhì)量的發(fā)展之路。
總結(jié)
以上是生活随笔為你收集整理的TiDB x 北京银行丨新一代分布式数据库的探索与实践的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 世界上最伟大的画家
- 下一篇: 年轻人的第一台Mini LED电视来了!