近年來互聯(lián)網(wǎng)銀行、P2P 平臺如雨后春筍般地涌現(xiàn),隨著其規(guī)模不斷擴大,已經(jīng)開始威脅到商業(yè)銀行傳統(tǒng)個人信貸業(yè)務(wù)的市場地位,使得商業(yè)銀行不得不采取措施應(yīng)對這一新的市場競爭。金融行業(yè)早已非幾十年前的壟斷行業(yè),線下信貸市場競爭激烈已近飽和,互聯(lián)網(wǎng), 信貸的興起對商業(yè)銀行而言不僅是競爭更是機遇。然而隨著互聯(lián)網(wǎng)個人信貸的發(fā)展,其所面臨的問題和以及暴露的風(fēng)險也接踵而來。自 2017 年下半年以來,監(jiān)管部門出臺《關(guān)于規(guī)范整頓“現(xiàn)金貸”業(yè)務(wù)的通知》、《小額貸款公司網(wǎng)絡(luò)小額貸款業(yè)務(wù)風(fēng)險專項整治實施方案》等監(jiān)管政策。彰顯了國家對互聯(lián)網(wǎng)個人信貸市場的重視,市場也變得更加規(guī)范,商業(yè)銀行在這個階段介入將是良好的機遇。

互聯(lián)網(wǎng)信貸市場潛力巨大,在互聯(lián)網(wǎng)金融的大背景下,商業(yè)銀行個人信貸業(yè)務(wù)完全可以向線上遷移,并且實現(xiàn)線上和線下的有效結(jié)合,這種結(jié)合將大幅提高商業(yè)銀行的信貸收益。同時現(xiàn)階段商業(yè)銀行互聯(lián)網(wǎng)個人信貸的發(fā)展有一種創(chuàng)新方式,就是金融機構(gòu)和優(yōu)質(zhì)平臺開展聯(lián)合貸款,通過合作共贏的方式來擴大產(chǎn)品規(guī)模。

一、貸款業(yè)務(wù)模式現(xiàn)狀

貸款類業(yè)務(wù)主要涉及兩大類業(yè)務(wù)場景:

l聯(lián)機交易場景:面向具體用戶端的單筆交易請求,對單筆交易的響應(yīng)時間有較高的要求;

l批量任務(wù)場景:面向金融機構(gòu)內(nèi)部的批量業(yè)務(wù)處理,屬于計算密集型的工作,對處理機制及系統(tǒng)資源有較高的要求。

在商業(yè)銀行將信貸業(yè)務(wù)由線下向線上演進(jìn)的過程,給 IT 系統(tǒng)建設(shè)帶來了很大的挑戰(zhàn),對數(shù)據(jù)量和實效性要求越來越高,諸如如下場景:

助貸業(yè)務(wù)的實時線上化(圖1)

聯(lián)合貸業(yè)務(wù)的實時線上化(圖2)

在以上業(yè)務(wù)場景中,各商業(yè)銀行通過與互聯(lián)網(wǎng)銀行或者第三方支付系統(tǒng)合作,采用業(yè)務(wù)流程全線上技術(shù),按照約定的資金比例,基于雙方共同認(rèn)可的規(guī)則審批制度,為符合特定準(zhǔn)入標(biāo)準(zhǔn)的客戶群,提供個人信用貸款,用于其生產(chǎn)經(jīng)營周轉(zhuǎn),互聯(lián)網(wǎng)銀行或者第三方支付系統(tǒng)負(fù)責(zé)組織、發(fā)展客戶,進(jìn)行客戶的貸款開立、發(fā)放、批量扣款等貸款生命周期內(nèi)的業(yè)務(wù)管理,包含:

系統(tǒng)間數(shù)據(jù)交換:網(wǎng)上直銷 、信貸系統(tǒng)(額度扣減、釋放)、財務(wù)管理系統(tǒng)數(shù)據(jù)歸集等

系統(tǒng)內(nèi)資金清算:批量代發(fā)帶扣(房貸、信用卡還款、工資代發(fā)等);

內(nèi)部業(yè)務(wù)處理:結(jié)息、計提等;

對賬相關(guān)處理:一般和第三方系統(tǒng)對賬等;

數(shù)據(jù)平臺準(zhǔn)備數(shù)據(jù):ETL、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺等;

相關(guān)報表:合規(guī)報表、監(jiān)管報送、領(lǐng)導(dǎo)駕駛艙、審計財務(wù)報表等;上述各業(yè)務(wù)環(huán)節(jié)的數(shù)據(jù)量在快速增長,要想處理的又好又快,就要涉及到分布式、緩存等新一代技術(shù)架構(gòu)的建設(shè)和升級,應(yīng)對業(yè)務(wù)發(fā)展對高吞吐量、自動化、健壯性、可靠性、擴展性的技術(shù)支撐能力的要求。

二、傳統(tǒng)技術(shù)架構(gòu)

如何打造一個高可用、高性能、易擴展、可伸縮且安全的,且能夠支撐線上個貸業(yè)務(wù)平穩(wěn)、健康、可持續(xù)開展的應(yīng)用系統(tǒng)迫在眉睫,傳統(tǒng)銀行 IT 人才的知識結(jié)構(gòu)也多偏向 “IOE” 技術(shù)路線,更換技術(shù)路線對他們的知識結(jié)構(gòu)也是一個挑戰(zhàn)。

貸款系統(tǒng)在建設(shè)之初就要求系統(tǒng)能夠快速準(zhǔn)確完成大批量的數(shù)據(jù)導(dǎo)入、導(dǎo)出和業(yè)務(wù)邏輯計算,自動執(zhí)行業(yè)務(wù)邏輯處理,希望批處理任務(wù)能夠自動正確運行,最大限度減少人工干預(yù),能夠自動完成批量任務(wù),遇到故障能夠有完備的監(jiān)控和告警機制,應(yīng)用要足夠健壯,第三方渠道過來的網(wǎng)貸數(shù)據(jù)經(jīng)常有不規(guī)整的數(shù)據(jù),客戶期望不會因為數(shù)據(jù)錯誤或者無效數(shù)據(jù)導(dǎo)致程序崩潰和批處理失敗,要求系統(tǒng)具備極強的容錯能力,同時要求系統(tǒng)足夠可靠,方便進(jìn)行監(jiān)控、跟蹤和日志分析,靈活跳過、重試和重啟,最后要具備靈活擴展性,網(wǎng)貸業(yè)務(wù)增長迅速,業(yè)務(wù)增長帶有不可預(yù)知性,希望根據(jù)業(yè)務(wù)實際增長,動態(tài)進(jìn)行彈性擴展。

經(jīng)分析,發(fā)現(xiàn)銀行傳統(tǒng)架構(gòu)有明顯的局限性,滿足不了貸款業(yè)務(wù)的互聯(lián)網(wǎng)化的發(fā)展實際要求。

1、應(yīng)用架構(gòu)

傳統(tǒng)商業(yè)銀行的架構(gòu)大多為集中式,硬件資源有很多還是IBM的主機和小型機。應(yīng)用多為單體應(yīng)用,即煙囪式開發(fā)模式,這種模式弊端很明顯:

系統(tǒng)間集成、交互和對接成本高昂:“煙囪”系統(tǒng)連接需要不同技術(shù)團隊間的協(xié)作,有很大的協(xié)調(diào)、溝通成本。不同系統(tǒng)架構(gòu)、技術(shù)各異,還會導(dǎo)致五花八門的對接方式,成本高。

業(yè)務(wù)變化快、靈活性差:煙囪模式下,一個業(yè)務(wù)變化可能會涉及多個系統(tǒng)重復(fù)修改,系統(tǒng)間接口重新調(diào)整。隨著各系統(tǒng)不斷積累,邏輯越來越復(fù)雜,系統(tǒng)修改和接口調(diào)整會越來越難、代價越來越大。

抑制業(yè)務(wù)創(chuàng)新:每次創(chuàng)新都面臨大量重復(fù)建設(shè),在新開業(yè)務(wù)和創(chuàng)新項目嘗試時,不得不面臨較大的前期投入。一旦方向出錯,損失巨大。

擴展性差:集中式應(yīng)用架構(gòu),由于應(yīng)用端是單點,如果出現(xiàn)硬件故障,系統(tǒng)完全不能使用,另外,如果系統(tǒng)的負(fù)載已經(jīng)達(dá)到這臺機器的上限時,很難通過快速擴展實現(xiàn)處理能力的提升,單純的硬件資源的提升不僅成本比較高,并且還有上限。

2、數(shù)據(jù)庫架構(gòu)

銀行關(guān)鍵業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫多為單機數(shù)據(jù)庫,比如 Oracle ,DB2等,也有部分非核心業(yè)務(wù)系統(tǒng)基于 MySQL 去構(gòu)建,在傳統(tǒng)數(shù)據(jù)庫架構(gòu)上也存在不少挑戰(zhàn):

擴展性差:集中式數(shù)據(jù)庫的數(shù)據(jù)處理能力有限,尤其是涉及超過幾千萬甚至上億的數(shù)據(jù)時,數(shù)據(jù)操作的響應(yīng)時間會大幅下降,又不能通過增加機器的方式來解決。

成本高昂:隨著系統(tǒng)的演進(jìn),性能指標(biāo)不斷發(fā)生變化,需要不斷采購 CPU、內(nèi)存、存儲等資源滿足業(yè)務(wù)發(fā)展,越往后成本會越高,并且即使增加了物理資源也不一定可以解決問題。

運維管理復(fù)雜:不斷發(fā)展的大規(guī)模系統(tǒng)需要不斷維護、快速迭代和優(yōu)化。單機數(shù)據(jù)庫運維變得越來越復(fù)雜。無法進(jìn)行快速部署、升級、擴容和維護。

數(shù)據(jù)庫國產(chǎn)化選型困難:缺少專業(yè)團隊、經(jīng)驗外,更重要的是來自國內(nèi)產(chǎn)品成熟度風(fēng)險。傳統(tǒng)銀行個貸業(yè)務(wù)系統(tǒng)業(yè)務(wù)品種多、業(yè)務(wù)邏輯復(fù)雜,對實施廠商來說技術(shù)實力要求非常高。

三、分布式技術(shù)架構(gòu)

分布式架構(gòu)可以在系統(tǒng)的各個層面都具備橫向擴展的能力,當(dāng)系統(tǒng)出現(xiàn)瓶頸的時候,都可以通過增加部署節(jié)點的方式快速解決,可以很好的解決互聯(lián)網(wǎng)貸款面臨的高并發(fā)、大數(shù)據(jù)量的挑戰(zhàn)。如果要用分布式的理念對銀行的聯(lián)機交易系統(tǒng)進(jìn)行架構(gòu)升級,需要涉及以下多個維度,以形成完整的分布式體系:

應(yīng)用分布式:通過對業(yè)務(wù)功能進(jìn)行拆分,使業(yè)務(wù)系統(tǒng)更加靈活,同時每部分多實例運行,大幅提升系統(tǒng)的可用性及處理能力。

數(shù)據(jù)分布式:通過對數(shù)據(jù)的分布式存儲及訪問,提升大數(shù)據(jù)量表的訪問能力,增加數(shù)據(jù)庫整體運行資源。

分布式緩存的合理使用:降低數(shù)據(jù)庫的訪問次數(shù),提升單個服務(wù)的響應(yīng)速度,間接提升系統(tǒng)整體處理能力。

分布式事務(wù):針對不同業(yè)務(wù)場景,提供切實可落地的方案,解決跨服務(wù)、跨數(shù)據(jù)節(jié)點的事務(wù)一致性問題。

分布式調(diào)度:協(xié)調(diào)多個分布式節(jié)點協(xié)同工作,有效控制日終處理時間。

上面提到的應(yīng)用分布式目前主要以微服務(wù)的方式體現(xiàn),已經(jīng)形成一個獨立的領(lǐng)域;數(shù)據(jù)層的分布式也是一個專項領(lǐng)域,尤其是以分布式數(shù)據(jù)庫為代表的解決方案已經(jīng)成為當(dāng)前的主要模式。神州信息和 PingCAP (北京平凱星辰科技發(fā)展有限公司)分別在分布式架構(gòu)和分布式數(shù)據(jù)庫兩個領(lǐng)域?qū)儆谛袠I(yè)領(lǐng)先水平,并且有多個客戶端的成功案例。

1、應(yīng)用架構(gòu)

針對集中式應(yīng)用架構(gòu)的缺陷,神州信息自研了分布式技術(shù)平臺Sm@rtGalaxy,其是基于對銀行業(yè)務(wù)的深入理解,結(jié)合業(yè)界最新發(fā)展趨勢,形成的一套完整的面向金融行業(yè)的分布式技術(shù)體系。在該體系下,系統(tǒng)的各個層面(服務(wù)、數(shù)據(jù)、緩存及計算)都具有分布式的特點,當(dāng)某層成為瓶頸時,就可以利用分布式的特性,通過增加節(jié)點的方式進(jìn)行解決,為系統(tǒng)的可用性、擴展性及性能等需求提供可靠的技術(shù)保障。Sm@rtGalaxy具有如下特點:

完整的微服務(wù)體系:基于行業(yè)主流的 Spring cloud 構(gòu)建完整的微服務(wù)體系,同時提供對應(yīng)的開發(fā)平臺支持,實現(xiàn)對應(yīng)的 DevOps 能力,滿足生產(chǎn)級的要求。基于該微服務(wù)體系,可以快速構(gòu)建不同領(lǐng)域的微服務(wù),快速應(yīng)對市場的變化,并可以針對負(fù)載的差別做精細(xì)化的運維。

輕量級的數(shù)據(jù)分布式解決方案:在應(yīng)用架構(gòu)層的數(shù)據(jù)分布式存儲及訪問,提供最小代價的數(shù)據(jù)分布式能力,可對接常用的 Oracle、DB2、MySQL 數(shù)據(jù)庫,以及最新的分布式數(shù)據(jù)庫 TiDB 等。

行業(yè)領(lǐng)先的分布式事務(wù)處理機制:提供多種分布式事務(wù)的處理機制,應(yīng)對不同的業(yè)務(wù)場景,尤其是默認(rèn)的 SDT 模式對業(yè)務(wù)系統(tǒng)幾乎沒有侵入,就可以實現(xiàn)跨微服務(wù)和跨數(shù)據(jù)庫的分布式事務(wù),解決了分布式事務(wù)很難落地的行業(yè)難題。

無侵入的分布式緩存訪問機制:采用注解的方式完成緩存跟數(shù)據(jù)庫的配合操作,對業(yè)務(wù)系統(tǒng)幾乎無侵入;并且對讀寫交叉及并發(fā)寫緩存可能造成的臟數(shù)據(jù)有完整的控制機制,其大幅提升金融系統(tǒng)對緩存的使用率,對整體的處理能力有進(jìn)一步的提升。

開箱即用的典型業(yè)務(wù)場景支持:在上述分布式體系之上提供了一套面向金融的典型的業(yè)務(wù)場景的應(yīng)用框架,包括典型的聯(lián)機交易、日間批量及日終批處理等的支撐,開發(fā)人員只需要在其上開發(fā)具體的業(yè)務(wù)邏輯就可以快速構(gòu)建一套分布式特性的業(yè)務(wù)系統(tǒng)。

金融場景深度定制的分布式調(diào)度體系:采用分布式的理念讓更多的應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器參與到運行體系,以及對大數(shù)量表在內(nèi)部進(jìn)行自動分段處理,大幅降低日終批處理的執(zhí)行時間。

2、數(shù)據(jù)庫架構(gòu)

TiDB 數(shù)據(jù)庫是國內(nèi)廠商 PingCAP (北京平凱星辰科技發(fā)展有限公司) 自研的開源分布式關(guān)系數(shù)據(jù)庫系統(tǒng)。該數(shù)據(jù)庫是基于 Google Spanner/F1 架構(gòu)的設(shè)計思想完全自主實現(xiàn)的最新一代的分布式關(guān)系數(shù)據(jù)庫,具備一鍵見水平伸縮、分布式事務(wù)、強一致多副本數(shù)據(jù)庫安全、云原生、高度兼容MySQL 協(xié)議和生態(tài)等政要的分布式數(shù)據(jù)庫特性,為金融類數(shù)據(jù)分布式處理提供了可靠的保障,具體特性如下:

水平彈性伸縮:在數(shù)量動態(tài)增長和業(yè)務(wù)動態(tài)回收資源時,只需要通過增加或者減少機器來實現(xiàn)分布式數(shù)據(jù)庫系統(tǒng)的架構(gòu),滿足業(yè)務(wù)使用需求,應(yīng)用層可以不用關(guān)心容量和吞吐量等問題。

分布式事務(wù):支持完整的 ACID 事務(wù),應(yīng)用可以把 TiDB 當(dāng)成一個單機的 RDMS 來使用,并且提供金融級別的可靠性保證。

高可用數(shù)據(jù)安全:提供強一致的 Raft 算法實現(xiàn)多副本存儲,跨數(shù)據(jù)中心的數(shù)據(jù)安全保證,任意一個數(shù)據(jù)副本或數(shù)據(jù)中心宕機,均可快速自動的進(jìn)行副本內(nèi)接管,無需人工接入,確保數(shù)據(jù)服務(wù)的持續(xù)性,以及準(zhǔn)確性。

實時數(shù)據(jù)分析:通過內(nèi)置的列式數(shù)據(jù)副本,以及與 Spark 的協(xié)議兼容,在海量數(shù)據(jù)存儲下,提供同一套數(shù)據(jù)庫內(nèi)按照 SQL語句級別的 OLTP 與 OLAP 數(shù)據(jù)處理,提供了快速的在線數(shù)據(jù)分析能力。

高度兼容 MySQL:協(xié)議層完全兼容單機 MySQL 數(shù)據(jù)庫,絕大多數(shù)金融場景下無需修改業(yè)務(wù)代碼,遷移成本極低,同時可無縫接入 MySQL 周邊生態(tài)工具。

四、典型合作案例

北京某城商行,也在積極的探索這種新一代分布式系統(tǒng)的建設(shè),通過網(wǎng)聯(lián)、個人無卡支付、網(wǎng)貸等多個系統(tǒng)的建設(shè)后,基本形成了以 Sm@rtGalaxy 和 TiDB 的全行級分布式技術(shù)體系,也快速推動了行內(nèi)的新業(yè)務(wù)的拓展,為數(shù)字化轉(zhuǎn)型帶來強有力的技術(shù)活力和高效化服務(wù)。

網(wǎng)貸系統(tǒng)架構(gòu)圖(圖3)

在分布式數(shù)據(jù)庫的技術(shù)調(diào)研和選型上,該銀行調(diào)研了業(yè)內(nèi)原生分布式主流產(chǎn)品,由于閉源、存儲共享等原因,在業(yè)務(wù)適配和兼容性上存在較大的適配兼容問題;調(diào)研了傳統(tǒng)數(shù)據(jù)庫分庫分表方案,由于在業(yè)務(wù)設(shè)計和對跨庫的分布式事務(wù)的能力要求較高;最終將技術(shù)方案定位在開源NewSQL數(shù)據(jù)庫領(lǐng)域,經(jīng)過嚴(yán)謹(jǐn)?shù)募夹g(shù)驗證,首次嘗試采用開源分布式數(shù)據(jù)庫系統(tǒng) TiDB 作為網(wǎng)貸系統(tǒng)應(yīng)用在面向互聯(lián)網(wǎng)業(yè)務(wù)的場景的適配,并進(jìn)行了基于分布式兼容性和業(yè)務(wù)模型的優(yōu)化,順利完成了網(wǎng)貸系統(tǒng)的建設(shè)投產(chǎn),網(wǎng)貸系統(tǒng)綜合考慮選擇 TiDB 的主要考量如下:

與 Sm@rtGalaxy 完全兼容

與微服務(wù)應(yīng)用體系適配完整

應(yīng)用層與數(shù)據(jù)庫層雙重分布式事務(wù)保證選擇

開箱即用,建設(shè)成本低

開源自主可控

代碼完全開源

國內(nèi)最大的生態(tài)社區(qū)

核心技術(shù)國人自研

開放平臺X86、ARM等跨平臺能力

原生分布式 SQL 數(shù)據(jù)庫

事務(wù)型數(shù)據(jù)庫

無需分庫分表,應(yīng)用高度透明

豐富的應(yīng)用開發(fā)語言/ORM/Driver支持

提供多種異構(gòu)同遷移工具

金融級高可靠性保障

無單點設(shè)計

數(shù)據(jù)強一致性

天然的多數(shù)據(jù)中心模式

彈性擴展能力強

在線橫向擴展容量/性能線性提升

全自動化的數(shù)據(jù)重平衡和調(diào)度

目前網(wǎng)貸業(yè)務(wù)系統(tǒng)成功上線投產(chǎn),已經(jīng)實現(xiàn)授信客戶數(shù)近千萬,發(fā)放貸款突破千億規(guī)模,日均渠道數(shù)據(jù)處理超百萬筆,賬務(wù)交易日處理量數(shù)十萬筆,日批處理量達(dá)百萬筆,通過對基礎(chǔ)資源的彈性擴所容滿足業(yè)務(wù)增長需求,現(xiàn)有資源完全滿足其未來五到十年線上網(wǎng)貸業(yè)務(wù)發(fā)展需求。

該銀行新網(wǎng)貸業(yè)務(wù)系統(tǒng)建設(shè),使得分布式架構(gòu)在互聯(lián)網(wǎng)應(yīng)用場景下的探索取得了良好的成效和大量的實戰(zhàn)經(jīng)驗,創(chuàng)新探索出了一條建設(shè)金融級分布式應(yīng)用與分布式數(shù)據(jù)庫的整體實施方案,為行內(nèi)基于 AS400 的核心系統(tǒng)分布式下移提供了一條切實可行的建設(shè)路徑,目前已經(jīng)在進(jìn)行部分核心業(yè)務(wù)的下移工作。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。