近日,招商銀行成功舉辦數(shù)據(jù)倉庫Teradata平臺下電儀式,正式完成從傳統(tǒng)數(shù)據(jù)倉庫平臺向華為云數(shù)據(jù)倉庫GaussDB(DWS)的全部遷移,成功建立了國內(nèi)首個大規(guī)模金融云數(shù)倉,有效支撐了“人人用數(shù)”大數(shù)據(jù)發(fā)展戰(zhàn)略落地。招商銀行在此次遷移中實現(xiàn)數(shù)據(jù)倉庫云化升級和自主可控,同時全面提升數(shù)據(jù)倉庫平臺容量和處理能力,為充分釋放數(shù)據(jù)資產(chǎn)價值、扎實賦能業(yè)務(wù)打下堅實的基礎(chǔ),進一步夯實數(shù)字化轉(zhuǎn)型底座。
招商銀行數(shù)據(jù)倉庫平臺主要應(yīng)用于批量數(shù)據(jù)加工處理、數(shù)據(jù)實驗室探索及交互式自助分析等場景。隨著招商銀行數(shù)字化轉(zhuǎn)型的快速推進,數(shù)據(jù)采集處理規(guī)模大幅增長,逐步呈現(xiàn)“人人用數(shù),人人都是數(shù)據(jù)分析師”的數(shù)據(jù)應(yīng)用模式,對數(shù)據(jù)平臺容量、算力、穩(wěn)定性及可用性等提出更高要求。
傳統(tǒng)數(shù)據(jù)倉庫一體機技術(shù)方案存在著生態(tài)環(huán)境封閉、維護成本高、硬件故障維修復(fù)雜、擴容停機時間長等諸多問題,已不能滿足快速、平滑的擴容需求。在此背景下,招商銀行總行信息技術(shù)部啟動新MPP數(shù)據(jù)倉庫平臺選型,經(jīng)過多輪測試和考量,最終采用華為云GaussDB(DWS)統(tǒng)一架構(gòu),并同華為云成立聯(lián)合創(chuàng)新實驗室,共同構(gòu)建具有招商銀行特色的數(shù)據(jù)倉庫平臺。
招商銀行數(shù)據(jù)倉庫的數(shù)據(jù)量規(guī)模達(dá)到PB級別,單一平臺進行如此巨大規(guī)模的數(shù)據(jù)和程序遷移,在金融行業(yè)非常少見。項目組充分論證遷移方案,制定了基礎(chǔ)數(shù)據(jù)模型先遷,分批次遷移應(yīng)用集市的總體策略。在設(shè)備到貨延遲、主機上云項目工期重疊引起源數(shù)據(jù)大量變動等挑戰(zhàn)下,項目組采取仿真環(huán)境數(shù)據(jù)驗證、優(yōu)化人力資源配置、精細(xì)化項目過程管理等措施,并研制出一整套自動化遷移驗證工具,大幅提升遷移效率,圓滿完成云數(shù)倉遷移工作。
遷移完成后,招商銀行業(yè)務(wù)用戶享受到了更輕盈的用數(shù)體驗:
查詢速度快人一步。批量數(shù)據(jù)處理完成進度整體提前2小時以上,業(yè)務(wù)用戶查詢時長縮短75%,數(shù)據(jù)倉庫服務(wù)效能顯著提升。
用數(shù)不間斷,人人都是VIP。集群擴容停機時長由12-24小時降至2-4小時,停機追批時長由1-2天降至業(yè)務(wù)零感知,平臺運維能力大幅提升,用戶隨時取數(shù)用數(shù),不再受維護和跑批的影響。
數(shù)據(jù)絲滑遷移,替換無感。在新舊數(shù)倉替換過程中的并行期,項目組通過自研工具實時數(shù)據(jù)校驗,縮短數(shù)據(jù)核對間歇,實現(xiàn)一分鐘內(nèi)完成重要數(shù)據(jù)在新舊平臺中的數(shù)據(jù)核對,讓用戶對替換過程無感知。
強大的平臺性能是數(shù)字化轉(zhuǎn)型不斷深入的底氣。為此,突破封閉技術(shù)路線,引入靈活擴展架構(gòu),是新一代數(shù)據(jù)倉庫提升平臺性能的必然選擇。
依托云原生特性,擴展靈活從容。從技術(shù)選型出發(fā),華為云數(shù)據(jù)倉庫GaussDB(DWS)打破原有一體機架構(gòu)封閉的技術(shù)路線,基于華為云Stack底座構(gòu)建開放型技術(shù)架構(gòu),支持資源彈性管理和按需擴展。在線擴容的重分布速度由20TB/h提速至65TB/h,在線備份速度由37TB/h提速至150TB/h,縮短平臺操作時間窗口,業(yè)務(wù)快速享用平臺擴展后的更高算力。
分布式優(yōu)化技術(shù),增強系統(tǒng)性能。充分利用多核計算資源,采用多層級、全并行的分布式架構(gòu),運用查詢重寫、計劃生成、傾斜處理等多項核心技術(shù),全面提升集群處理性能,實現(xiàn)高并發(fā)交互式查詢秒級響應(yīng),并支撐業(yè)務(wù)上千并發(fā)聯(lián)機查詢。
分析與計算集群分離,降低負(fù)載沖突。根據(jù)業(yè)務(wù)發(fā)展需要,項目組將原計算集群拓展為零售集群和批發(fā)中后臺集群,并為業(yè)務(wù)用數(shù)建設(shè)專屬分析集群,在擴展算力的同時實現(xiàn)業(yè)務(wù)分析與計算分離。華為云數(shù)據(jù)倉庫GaussDB(DWS)為分析師提供7×24小時隨需隨用的數(shù)據(jù)服務(wù),無需等待批量處理負(fù)載降低,延長數(shù)據(jù)服務(wù)時長。
招商銀行云數(shù)倉全面上線標(biāo)志著其數(shù)據(jù)倉庫平臺能力上升到一個新臺階,同時也為金融行業(yè)數(shù)據(jù)倉庫遷移提供了實踐借鑒。
面向未來,華為云GaussDB(DWS)將繼續(xù)探索金融應(yīng)用場景,全面推廣數(shù)據(jù)工具平臺,持續(xù)優(yōu)化平臺性能和體驗,為打通企業(yè)數(shù)字化轉(zhuǎn)型最后一公里提供堅實的平臺保障。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )