堪稱傳統(tǒng)基建奇跡的“三元橋43小時(shí)換新橋”工程的相關(guān)報(bào)道還歷歷在目，而某運(yùn)營(yíng)商也經(jīng)歷著類似的考驗(yàn)，需要在2天內(nèi)完成某在線營(yíng)銷系統(tǒng)整體升級(jí)。

作為某運(yùn)營(yíng)商的重要數(shù)據(jù)庫(kù)產(chǎn)品與服務(wù)提供商，留給人大金倉(cāng)的時(shí)間只有每天夜間的4小時(shí)，更難的是：運(yùn)營(yíng)商整個(gè)“換橋”的過程中除這兩個(gè)4小時(shí)外，仍需保持“車輛通行”!

Tips：三元橋初建于1984年，日均車流量20.6萬(wàn)輛，于2015年11月13日晚23時(shí)至11月15日18時(shí)完成新橋替換。在43小時(shí)內(nèi)完成了舊橋拆除、預(yù)制鋼梁現(xiàn)場(chǎng)拼裝及新橋整體置換的工作。

運(yùn)營(yíng)商營(yíng)銷系統(tǒng)升級(jí)項(xiàng)目實(shí)施計(jì)劃圖-數(shù)據(jù)庫(kù)部分

何謂奇跡?系統(tǒng)升級(jí)的三道關(guān)

“第一是性能關(guān)，數(shù)據(jù)庫(kù)必須進(jìn)行嚴(yán)格的性能壓力測(cè)試，以保證在未來三年及更長(zhǎng)時(shí)間段內(nèi)能夠滿足業(yè)務(wù)增長(zhǎng)需求;第二是上線關(guān)，長(zhǎng)期積累的大量歷史數(shù)據(jù)在業(yè)務(wù)運(yùn)行高連續(xù)性要求下，必須在有限窗口時(shí)間內(nèi)完成數(shù)據(jù)遷移及配合應(yīng)用完成業(yè)務(wù)系統(tǒng)的平滑切換;第三是回退關(guān)，當(dāng)全國(guó)產(chǎn)環(huán)境出現(xiàn)災(zāi)難性故障時(shí)，須保證可借助原有系統(tǒng)提供業(yè)務(wù)的連續(xù)性支撐。”

人大金倉(cāng)項(xiàng)目負(fù)責(zé)人補(bǔ)充分析，“以上三點(diǎn)保障是本項(xiàng)目升級(jí)成功的關(guān)鍵，在金倉(cāng)看來，照搬‘大力出奇跡’的傳統(tǒng)解題思路是下策，第一，疫情、春節(jié)及冬奧會(huì)多重因素疊加導(dǎo)致的運(yùn)營(yíng)商各類業(yè)務(wù)壓力增長(zhǎng)，讓該解題思路變得難以為繼;第二，這種方式與金倉(cāng)長(zhǎng)期追求的精細(xì)化服務(wù)理念相悖。所以這次項(xiàng)目不止對(duì)運(yùn)營(yíng)商，對(duì)金倉(cāng)來講也是一個(gè)不小的挑戰(zhàn)。”

性能 | 以百米速度跑馬拉松是什么體驗(yàn)?

金倉(cāng)項(xiàng)目負(fù)責(zé)人介紹，客戶原營(yíng)銷系統(tǒng)的存量數(shù)據(jù)近2TB，超百億條;業(yè)務(wù)量日均超千萬(wàn)，峰值可達(dá)2000萬(wàn)，未來預(yù)計(jì)將翻3倍。系統(tǒng)建成后需保證9500以上的TPS指標(biāo)要求，同時(shí)需保證業(yè)務(wù)處理整體響應(yīng)時(shí)間不超3秒。

考慮到未來近三倍的業(yè)務(wù)壓力提升，用戶選擇通用高性能x86服務(wù)器作為驗(yàn)證平臺(tái)，并選取10個(gè)典型業(yè)務(wù)場(chǎng)景，在不同的數(shù)據(jù)庫(kù)并發(fā)連接壓力下進(jìn)行嚴(yán)格的性能指標(biāo)測(cè)試。

經(jīng)測(cè)，金倉(cāng)數(shù)據(jù)庫(kù)在各測(cè)試中TPS平均值超38000，最高超42000，最低也有24000，比期望值平均高出3倍，遠(yuǎn)超指標(biāo)要求。

上線| 隨風(fēng)潛入夜，換橋細(xì)無(wú)聲

基于對(duì)原系統(tǒng)數(shù)據(jù)庫(kù)結(jié)構(gòu)及數(shù)據(jù)規(guī)模的判斷，金倉(cāng)對(duì)上線時(shí)的數(shù)據(jù)遷移過程總結(jié)出兩點(diǎn)風(fēng)險(xiǎn)：

風(fēng)險(xiǎn)和挑戰(zhàn)：

1)單次4小時(shí)左右的停服時(shí)間，只能保證完成基礎(chǔ)數(shù)據(jù)的全部遷移，而在遷移后創(chuàng)建索引等環(huán)節(jié)可能會(huì)占用較長(zhǎng)時(shí)間，存在較大風(fēng)險(xiǎn);

2)系統(tǒng)運(yùn)行環(huán)境為基于云的虛擬化平臺(tái)，其性能影響可能進(jìn)一步放大。

為保證原業(yè)務(wù)連續(xù)性，最大限度減少對(duì)原系統(tǒng)的影響，金倉(cāng)采用了柔性遷移方案。

基于上述柔性遷移方案，金倉(cāng)團(tuán)隊(duì)于2021年xx月12日開始執(zhí)行系統(tǒng)遷移的實(shí)施工作。

xx月12日22:00，系統(tǒng)進(jìn)入第一個(gè)停服周期。

次日01:00完成近2TB存量數(shù)據(jù)遷移，隨即源端業(yè)務(wù)恢復(fù)，歷時(shí)共計(jì)3小時(shí)左右。

同時(shí)， KFS持續(xù)解析增量數(shù)據(jù)并進(jìn)行本地緩存。xx月13日10:10目標(biāo)端數(shù)據(jù)庫(kù)完成索引創(chuàng)建等后續(xù)工作后，KFS目標(biāo)端鏈路接通，并在20分鐘內(nèi)完成增量數(shù)據(jù)追平，達(dá)到兩端數(shù)據(jù)實(shí)時(shí)同步。

xx月13日22:10，系統(tǒng)進(jìn)入第二個(gè)停服周期，進(jìn)行兩端數(shù)據(jù)的一致性校驗(yàn)，并在次日00:30啟動(dòng)KES承載的國(guó)產(chǎn)化平臺(tái)應(yīng)用，歷時(shí)共計(jì)2小時(shí)左右。

在系統(tǒng)升級(jí)過程中，金倉(cāng)實(shí)施團(tuán)隊(duì)分兩階段共占用5小時(shí)左右的停服時(shí)間，保證業(yè)務(wù)正常響應(yīng)的同時(shí)，高效完成了重載系統(tǒng)的“換橋”任務(wù)。

回退| 升級(jí)不拆橋，保障多一道

國(guó)產(chǎn)基礎(chǔ)軟硬件在行業(yè)應(yīng)用的深水區(qū)實(shí)踐確實(shí)還在拓展階段，用戶對(duì)全國(guó)產(chǎn)平臺(tái)的穩(wěn)定性多少有所顧慮。據(jù)項(xiàng)目負(fù)責(zé)人披露，在做好常規(guī)的數(shù)據(jù)備份及高可用保障的同時(shí)，用戶提出系統(tǒng)回退需求，以保障當(dāng)全國(guó)產(chǎn)環(huán)境出現(xiàn)災(zāi)難性故障時(shí)，仍可借助原系統(tǒng)提供業(yè)務(wù)的連續(xù)性支撐。

雙軌運(yùn)行方案

借助異構(gòu)數(shù)據(jù)庫(kù)同步工具KFS，金倉(cāng)提供完善的雙軌運(yùn)行方案，以滿足系統(tǒng)回退需求。

階段一：結(jié)合柔性遷移過程，在解決存量數(shù)據(jù)遷移及增量數(shù)據(jù)同步后，保持KFS從原系統(tǒng)數(shù)據(jù)庫(kù)到KES的鏈路暢通。此時(shí)系統(tǒng)運(yùn)行仍基于原數(shù)據(jù)庫(kù)。

階段二：當(dāng)KES作為生產(chǎn)系統(tǒng)承載庫(kù)后，通過KFS獨(dú)有能力，通過命令進(jìn)行數(shù)據(jù)同步方向的切換，即KES向原數(shù)據(jù)庫(kù)反向同步數(shù)據(jù)。此時(shí)原數(shù)據(jù)庫(kù)作為備份節(jié)點(diǎn)，與KES保持?jǐn)?shù)據(jù)實(shí)時(shí)一致，隨時(shí)可承接應(yīng)用負(fù)載。

在整體方案確定后，金倉(cāng)實(shí)施團(tuán)隊(duì)對(duì)每個(gè)階段的工作顆粒度都要細(xì)化到最優(yōu)：

歷經(jīng)3輪測(cè)試，該方案均保證了KES與原數(shù)據(jù)庫(kù)的高效數(shù)據(jù)同步，延時(shí)穩(wěn)定控制在5秒以內(nèi)，系統(tǒng)整體具備回退條件。

結(jié)語(yǔ)

通過雙方多次的方案細(xì)化迭代及緊張的項(xiàng)目實(shí)施，某運(yùn)營(yíng)商營(yíng)銷類業(yè)務(wù)系統(tǒng)于2021年底順利上線，成功實(shí)現(xiàn)關(guān)鍵系統(tǒng)國(guó)產(chǎn)化升級(jí)，并順利完成了春節(jié)及冬奧期間的重點(diǎn)保障服務(wù)，確保了系統(tǒng)的穩(wěn)定運(yùn)行，有效降低了數(shù)據(jù)庫(kù)管控風(fēng)險(xiǎn)，穩(wěn)定支撐運(yùn)營(yíng)商在全國(guó)31個(gè)省的線上營(yíng)銷賦能業(yè)務(wù)。

人大金倉(cāng)作為專業(yè)的數(shù)據(jù)庫(kù)管理系統(tǒng)產(chǎn)品及解決方案提供商，秉承“以客戶為中心”的服務(wù)理念，未來將繼續(xù)和千萬(wàn)國(guó)產(chǎn)廠商一起，打造穩(wěn)定、安全、智能的數(shù)字化環(huán)境，為客戶搭建通往數(shù)字化高速公路的橋梁。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）