中國(guó)金融信息網(wǎng)訊 作為人工智能時(shí)代下互聯(lián)網(wǎng)銀行的代表，百信銀行信息技術(shù)部創(chuàng)新推出了基于開源JStorm技術(shù)的百信銀行流式計(jì)算平臺(tái)aiStream，并在消費(fèi)信貸風(fēng)險(xiǎn)監(jiān)控項(xiàng)目快速落地。流式計(jì)算平臺(tái)后續(xù)將在不同的領(lǐng)域進(jìn)行深度應(yīng)用，助力全行業(yè)務(wù)加速。

背景

aiStream悄然誕生

百信銀行的開業(yè)是 “2017年中國(guó)銀行業(yè)十件大事”之一，作為人工智能時(shí)代下互聯(lián)網(wǎng)銀行的代表，百信銀行堅(jiān)持智能普惠的定位，利用人工智能等技術(shù)，開啟了“金融+互聯(lián)網(wǎng)+人工智能”的新金融發(fā)展模式。在新時(shí)代下，“直面客戶+快速響應(yīng)”的互聯(lián)網(wǎng)特征，“分布式+去IOE”的全新系統(tǒng)架構(gòu)對(duì)銀行IT建設(shè)提出了極大的挑戰(zhàn)：如何準(zhǔn)確感知客戶當(dāng)前需求？如何解決風(fēng)控授信等業(yè)務(wù)場(chǎng)景實(shí)時(shí)性不足的困難？如何快速解決分布式賬務(wù)異常、定位問題？如何解決傳統(tǒng)銀行批量方式數(shù)據(jù)實(shí)時(shí)性差……這一系列問題對(duì)數(shù)據(jù)提出很高的數(shù)量、速度要求，還要兼顧金融交易的復(fù)雜性和實(shí)時(shí)性要求，而解決這些問題的答案正是流式大數(shù)據(jù)處理技術(shù)。

百信銀行積極探索人工智能和大數(shù)據(jù)技術(shù)在金融場(chǎng)景的應(yīng)用，百信銀行信息技術(shù)部順勢(shì)而為，自主研發(fā)，創(chuàng)新推出了基于開源JStorm技術(shù)的百信銀行流式計(jì)算平臺(tái)aiStream，并在消費(fèi)信貸風(fēng)險(xiǎn)監(jiān)控項(xiàng)目快速落地，為全行第一款產(chǎn)品保駕護(hù)航。由此，流式計(jì)算平臺(tái)項(xiàng)目成功入選了百信銀行業(yè)務(wù)創(chuàng)新管理委員會(huì)“蒲公英計(jì)劃”，后續(xù)將在不同的領(lǐng)域進(jìn)行深度應(yīng)用，助力全行業(yè)務(wù)加速。

什么是流式計(jì)算

數(shù)據(jù)連續(xù)產(chǎn)生，并被實(shí)時(shí)采集和計(jì)算

數(shù)據(jù)往往隨著時(shí)間推進(jìn)連續(xù)產(chǎn)生，比如客戶用手機(jī)APP購(gòu)買理財(cái)，從開戶綁卡-理財(cái)產(chǎn)品選購(gòu)-付款確認(rèn)等一系列點(diǎn)擊操作，會(huì)產(chǎn)生一連串的后臺(tái)數(shù)據(jù)，這背后生成的數(shù)據(jù)都是連續(xù)產(chǎn)生的。連續(xù)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)，又被實(shí)時(shí)采集起來，就形成了數(shù)據(jù)流。流式數(shù)據(jù)一經(jīng)采集，就可以立即參與計(jì)算，同時(shí)將計(jì)算結(jié)果投入到業(yè)務(wù)分析應(yīng)用中，這就是實(shí)時(shí)計(jì)算。

分布式實(shí)時(shí)流式計(jì)算面臨很多挑戰(zhàn)：數(shù)據(jù)從“采集-計(jì)算-輸出”全過程需要保證低延遲，除計(jì)算節(jié)點(diǎn)本身可采用“增量計(jì)算”模型，上游數(shù)據(jù)傳輸模塊也應(yīng)具有高吞吐能力和數(shù)據(jù)緩存能力，以便在大流量場(chǎng)景下起緩沖作用，下游輸出模塊也需要做數(shù)據(jù)壓縮、批量輸出等優(yōu)化，確保輸出結(jié)果的實(shí)時(shí)性；此外分布式系統(tǒng)單點(diǎn)故障時(shí)有發(fā)生，實(shí)時(shí)流計(jì)算系統(tǒng)必須有強(qiáng)故障恢復(fù)能力，當(dāng)故障發(fā)生時(shí)，系統(tǒng)快速恢復(fù)，避免出現(xiàn)系統(tǒng)輸出更新停滯，無法保障實(shí)時(shí)性。

百信銀行流式計(jì)算平臺(tái)aiStream完全自主開發(fā)，設(shè)計(jì)中充分考慮了分布式實(shí)時(shí)流式計(jì)算的難點(diǎn)，采用了主流的計(jì)算框架，基于分布式內(nèi)存并行計(jì)算，解決離線大數(shù)據(jù)和近線大數(shù)據(jù)實(shí)時(shí)融合處理等技術(shù)難題。支持海量數(shù)據(jù)高性能分析，同時(shí)引入了一系列創(chuàng)新技術(shù)，在可靠性、一致性、可用性、可擴(kuò)展性等多層面提升了開源流處理平臺(tái)的處理能力。

流式計(jì)算平臺(tái)的應(yīng)用領(lǐng)域

百搭的應(yīng)用加速器，廣泛適用性

百信銀行流式計(jì)算平臺(tái)aiStream以解決行業(yè)痛點(diǎn)為出發(fā)點(diǎn)，從銀行當(dāng)前迫切需要解決的實(shí)時(shí)風(fēng)控、去批量等問題出發(fā)，通過靈活的架構(gòu)設(shè)計(jì)與規(guī)劃，構(gòu)建安全、穩(wěn)定、可靠的基礎(chǔ)平臺(tái)，滿足SaaS層差異化和多樣性的定制化需求。流式計(jì)算平臺(tái)提供如下兩項(xiàng)核心服務(wù)：

實(shí)時(shí)數(shù)據(jù)總線

實(shí)時(shí)處理增量數(shù)據(jù)，提供不同數(shù)據(jù)源到目標(biāo)存儲(chǔ)介質(zhì)的數(shù)據(jù)管道，支持源與目標(biāo)之間單對(duì)單，單對(duì)多，多對(duì)單，多對(duì)多的關(guān)聯(lián)，支持?jǐn)?shù)據(jù)管道的擴(kuò)展與合并。整個(gè)系統(tǒng)具有功能擴(kuò)展性和銀行級(jí)要求的容錯(cuò)性。

百信銀行流式計(jì)算平臺(tái)aiStream目前已將18種數(shù)據(jù)源，23種目標(biāo)輸出列入支持計(jì)劃，包括常見的關(guān)系/非關(guān)系數(shù)據(jù)庫、消息中間件、多種文件存儲(chǔ)及各類系統(tǒng)間接口等，未來還會(huì)不斷增加支持的內(nèi)容。

實(shí)時(shí)數(shù)據(jù)計(jì)算

利用流計(jì)算引擎的實(shí)時(shí)計(jì)算特性，對(duì)數(shù)據(jù)管道中流轉(zhuǎn)的數(shù)據(jù)進(jìn)行實(shí)時(shí)加工與計(jì)算，并將結(jié)果返回到預(yù)先規(guī)劃目標(biāo)介質(zhì)（如數(shù)據(jù)庫、內(nèi)存、文件或者其他存儲(chǔ)介質(zhì)）中。

百信銀行流式計(jì)算平臺(tái)aiStream支持拆分、合并、缺失值填充、類型轉(zhuǎn)換等15種預(yù)處理模式及特征過濾、特征離散、特征尺度變換等15種特征工程處理能力，平臺(tái)將這些能力封裝成基礎(chǔ)組件，提供通用接口，支持業(yè)務(wù)模塊低成本快速接入，根據(jù)業(yè)務(wù)需求靈活組合使用和業(yè)務(wù)集成，實(shí)現(xiàn)“數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)”。

作為通用基礎(chǔ)平臺(tái)，百信銀行流式計(jì)算平臺(tái)aiStream能夠?qū)Ａ繑?shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算處理，廣泛適用于金融銀行、互聯(lián)網(wǎng)領(lǐng)域，能夠?yàn)閭€(gè)性化數(shù)據(jù)需求，提供“海量、精準(zhǔn)、實(shí)時(shí)”的個(gè)性化數(shù)據(jù)服務(wù)。系統(tǒng)服務(wù)領(lǐng)域覆蓋客戶營(yíng)銷、風(fēng)險(xiǎn)管理、營(yíng)運(yùn)管理、運(yùn)維管理等。

2

流式計(jì)算平臺(tái)的未來展望

打造實(shí)時(shí)數(shù)據(jù)服務(wù)生態(tài)

流式計(jì)算作為百搭數(shù)據(jù)加速器，具有加快數(shù)據(jù)流轉(zhuǎn)、提高數(shù)據(jù)價(jià)值的普適性。未來將會(huì)有越來越多的實(shí)時(shí)計(jì)算場(chǎng)景，除了文本計(jì)算實(shí)時(shí)化，圖像、語音計(jì)算也可以實(shí)時(shí)化，還有在線機(jī)器學(xué)習(xí)等。實(shí)時(shí)數(shù)據(jù)以及實(shí)時(shí)流計(jì)算場(chǎng)景的類型都是指數(shù)增長(zhǎng)的，實(shí)時(shí)計(jì)算引擎要求也會(huì)越來越高。

同時(shí)，作為源自百信銀行的技術(shù)平臺(tái)，aiStream首先應(yīng)用的領(lǐng)域就是對(duì)數(shù)據(jù)準(zhǔn)確性和數(shù)據(jù)價(jià)值有著最高敏感性的金融領(lǐng)域尤其是銀行業(yè)，對(duì)于系統(tǒng)的高可用和容錯(cuò)性在一開始就是以最高標(biāo)準(zhǔn)來要求。同時(shí)整個(gè)系統(tǒng)的建設(shè)規(guī)劃也必須建立在對(duì)于金融領(lǐng)域交易場(chǎng)景和數(shù)據(jù)分析需求的深入理解上，才能保證系統(tǒng)對(duì)百信內(nèi)部以及未來對(duì)外部業(yè)務(wù)需求的高效接入。誕生于百信銀行的aiStream平臺(tái)，在技術(shù)和業(yè)務(wù)結(jié)合上，有著先天的優(yōu)勢(shì)。

百信銀行流式計(jì)算平臺(tái)aiStream將繼續(xù)加大技術(shù)研發(fā)投入，并與開源社區(qū)更加密切地合作，突進(jìn)流式計(jì)算的發(fā)展，致力于打造一流的流式計(jì)算平臺(tái)。一方面，內(nèi)部創(chuàng)新，支持消費(fèi)信貸、理財(cái)?shù)雀魇聵I(yè)部的主航道業(yè)務(wù)，利用實(shí)時(shí)數(shù)據(jù)服務(wù)能力，提升業(yè)務(wù)的核心競(jìng)爭(zhēng)力：繼續(xù)擴(kuò)大計(jì)算規(guī)模，推出內(nèi)部統(tǒng)一實(shí)時(shí)計(jì)算服務(wù)框架，針對(duì)實(shí)時(shí)處理海量數(shù)據(jù)，提供在線統(tǒng)計(jì)、學(xué)習(xí)和預(yù)測(cè)能力；另一方面通過云服務(wù)向外界輸出實(shí)時(shí)計(jì)算能力，讓更多中小金融企業(yè)和用戶享受到百信銀行實(shí)時(shí)計(jì)算的技術(shù)成果。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。