在IT架構(gòu)中處于核心位置的數(shù)據(jù)庫,是連接上層應用和底層基礎資源的重要樞紐,相當于人的“記憶系統(tǒng)”,用于存儲、調(diào)取數(shù)據(jù),其重要性不言而喻。可以說,數(shù)據(jù)庫是與芯片、操作系統(tǒng)并列的現(xiàn)代信息技術領域的三大核心,是基礎軟件“皇冠上的明珠”,同時更是支撐信息系統(tǒng)安全穩(wěn)定運行的重要保障。
近年來,國產(chǎn)數(shù)據(jù)庫已呈現(xiàn)出加速增長趨勢,以openGauss系數(shù)據(jù)庫為例,弗若斯特沙利文發(fā)布的《重點行業(yè)數(shù)據(jù)庫應用調(diào)研報告》顯示,2023年中國數(shù)據(jù)庫市場線下集中式openGauss系新增市場份額達21.9%,已規(guī)模應用于金融、政府、電信等十大關鍵行業(yè)核心場景。其中,云和恩墨基于openGauss內(nèi)核推出的MogDB數(shù)據(jù)庫在不斷進化的同時,也在金融等行業(yè)持續(xù)商業(yè)落地。
金融行業(yè)數(shù)據(jù)庫自主創(chuàng)新正在加速
當前,金融市場的軟件升級、數(shù)字化轉(zhuǎn)型已進入關鍵時期。在工信部賽迪顧問軟件與信息服務業(yè)產(chǎn)業(yè)研究中心發(fā)布的《2022-2023年度中國平臺軟件市場研究報告》中顯示,金融行業(yè)將超越電信與互聯(lián)網(wǎng)行業(yè)成為平臺軟件增長最快、規(guī)模最大的應用市場。
而國產(chǎn)數(shù)據(jù)庫作為我國金融信息系統(tǒng)的關鍵軟件基礎設施,在積極發(fā)揮支撐金融行業(yè)數(shù)字化和高質(zhì)量作用的同時也迎來新的發(fā)展。根據(jù)《數(shù)據(jù)庫發(fā)展研究報告(2023年)》,我國已邁入全球數(shù)據(jù)庫產(chǎn)業(yè)第一梯隊,市場規(guī)模占全球7.2%。
在筆者看來,當前國產(chǎn)化數(shù)據(jù)庫要發(fā)展起來,既需要面對金融業(yè)升級轉(zhuǎn)型的迫切需求,又要應對本土數(shù)據(jù)庫市場激烈的競爭。要想脫穎而出,勢必要深入了解金融行業(yè)對于數(shù)據(jù)庫的需求,針對互聯(lián)網(wǎng)化、支付場景移動化、服務普惠性、海量交易等金融業(yè)出現(xiàn)的新變化,進行數(shù)據(jù)庫的調(diào)優(yōu),探索數(shù)據(jù)庫升級改造的方向。
在金融場景下,升級改造數(shù)據(jù)庫需要面對敏態(tài)與穩(wěn)態(tài)需求并存帶來的壓力:首先,迅猛發(fā)展的互聯(lián)網(wǎng)金融業(yè)務為IT系統(tǒng)帶來巨大的性能、彈性、成本的壓力,數(shù)字化升級的步伐不斷加快,數(shù)據(jù)庫升級改造也必須同業(yè)務發(fā)展同頻;其次,信息技術與應用創(chuàng)新趨勢下,業(yè)務需要高性能、高安全、易擴展、易管理的IT架構(gòu);第三,業(yè)務連續(xù)性要求越來越嚴,系統(tǒng)升級也需要穩(wěn)步推進。
總的來看,在數(shù)據(jù)庫升級的選型過程中,數(shù)據(jù)庫需要滿足數(shù)據(jù)強一致、極高可用性、彈性可擴展、平滑升級等更高要求。在近日召開的openGauss Summit 2023上,云和恩墨客戶成功部研發(fā)架構(gòu)師羅海雄表示:“為了應對客戶對敏態(tài)與穩(wěn)態(tài)業(yè)務的多樣化需求,我們需要從PoC開始到架構(gòu)設計、數(shù)據(jù)遷移與應用適配,再到最終的系統(tǒng)上線等環(huán)節(jié),充分考慮并滿足客戶未來業(yè)務發(fā)展的需要,幫助客戶實現(xiàn)更平滑的數(shù)據(jù)庫遷移上線。”
云和恩墨客戶成功部研發(fā)架構(gòu)師羅海雄發(fā)表演講
數(shù)據(jù)庫平滑遷移有哪些核心要點?
以服務某期貨交易所為例,云和恩墨將整個服務過程分為PoC、架構(gòu)設計、數(shù)據(jù)遷移與應用適配、系統(tǒng)上線等環(huán)節(jié)。針對整個流程,羅海雄表示:“云和恩墨在整個過程中都有完備的工具、專業(yè)的專家團隊和經(jīng)過實踐驗證的解決方案,能夠最大程度地支持用戶業(yè)務系統(tǒng)數(shù)據(jù)庫的平滑遷移和安全保障。”
其中,PoC是整個服務的開始也是至關重要的環(huán)節(jié),這一環(huán)節(jié)的工作主要在于匹配客戶需求、展現(xiàn)產(chǎn)品優(yōu)勢。“在PoC階段,我們面臨最大的挑戰(zhàn)是如何讓產(chǎn)品展現(xiàn)出客戶所需要的特質(zhì)。”羅海雄如是說。這就需要了解客戶在業(yè)務連續(xù)性、數(shù)據(jù)強一致性等方面的要求,同時兼顧高并發(fā)、低延時等性能表現(xiàn),此外還需要實現(xiàn)源庫兼容、平滑遷移。
在羅海雄看來,了解客戶的需求只是PoC的第一步,接下來還需要進行測試等驗證環(huán)節(jié)。功能上需要進行一致性ACID測試、高可用測試、備份容災測試,性能上需要進行TPCC壓測、簡單SQL測試、業(yè)務復雜SQL測試,適配上的表結(jié)構(gòu)與遷移測試、語法兼容度測試、SQL改寫測試等。羅海雄表示:“區(qū)別于其他數(shù)據(jù)庫,MogDB還增加了可觀測性、自動安裝工具、自動化運維等專有特性的展示。”
系統(tǒng)架構(gòu)設計也是至關重要的一個環(huán)節(jié),在這一環(huán)節(jié)不僅需要滿足兩地三中心、全棧國產(chǎn)化等業(yè)務架構(gòu)方面的設計需求,同時也要滿足運維、監(jiān)控使用的架構(gòu)設計。云和恩墨提供了zCloud數(shù)據(jù)庫云管平臺,實現(xiàn)了多元混合數(shù)據(jù)庫統(tǒng)一管理。羅海雄表示:“zCloud最大的能力是異構(gòu)兼容性,支持Oracle、DB2、openGauss、MogDB、達夢等商業(yè)、開源、國產(chǎn)數(shù)據(jù)庫,實現(xiàn)資源的統(tǒng)一調(diào)度管控、按需分配。”
羅海雄認為系統(tǒng)架構(gòu)設計之后的適配與遷移環(huán)節(jié)也需要投入大量精力。他表示:“自主創(chuàng)新遷移并不是簡單的數(shù)據(jù)搬遷,除了確保數(shù)據(jù)的一致、業(yè)務功能的等價、最小化停機的基本原則外,更多地要關注兼容性改造、性能的保證,從而實現(xiàn),方案完備、遷移可靠、改造適度、測試充分、工期可控、運行穩(wěn)定。”在數(shù)據(jù)遷移環(huán)節(jié),云和恩墨提供的配套遷移工具,能夠確保結(jié)構(gòu)同步與數(shù)據(jù)同步,可以達到每小時1TB數(shù)據(jù)遷移和自動一致性校驗的效果。
技術創(chuàng)新加持下的MogDB Cube一體機,價值何在?
云和恩墨在服務金融等行業(yè)時,除了展現(xiàn)出服務能力強、流程完備等優(yōu)勢外,其技術研發(fā)、產(chǎn)品或解決方案的迭代能力也是值得肯定的。從云和恩墨在金融行業(yè)的應用實踐中,我們可以看出,MogDB在助力客戶自主創(chuàng)新實踐中展現(xiàn)出高可靠、高性能、高易用、高兼容的特點。
當然,除了數(shù)據(jù)庫在各個行業(yè)遷移替代遇到的挑戰(zhàn)外,我們還發(fā)現(xiàn),隨著業(yè)務的拓展、數(shù)據(jù)量的激增,單機能力并不能承受業(yè)務增長帶來的壓力。此時,數(shù)據(jù)庫領域呈現(xiàn)出Share-nothing分布式架構(gòu)與Share-everything資源池化架構(gòu)兩種技術演進方向。那么,企業(yè)應該選擇哪種方案作為國產(chǎn)數(shù)據(jù)庫的替代?
云和恩墨·本原數(shù)據(jù)技術合伙人張程偉認為,從可靠性、性能、成本、運維方面考慮,Shared-everything資源池化架構(gòu)更適合當下國產(chǎn)數(shù)據(jù)庫平替的場景。面對數(shù)據(jù)庫國產(chǎn)化替代的需求,云和恩墨一直在思考如何將自身對于行業(yè)的洞察、理解和來自用戶的需求變成產(chǎn)品力。為此,云和恩墨推出了MogDB數(shù)據(jù)庫一體機——MogDB Cube。
云和恩墨·本原數(shù)據(jù)技術合伙人張程偉發(fā)表演講
簡單來看,MogDB Cube基于鯤鵬多核處理器的性能算力,結(jié)合企業(yè)級數(shù)據(jù)庫MogDB,并在底層使用了云和恩墨擁有自主知識產(chǎn)權(quán)的分布式存儲軟件zStorage。zStorage在鯤鵬服務器下平均單節(jié)點性能達到50萬IOPS的同時可以達成0.8毫秒的平均時延,還能夠在磁盤故障場景下完成每15分鐘1TB數(shù)據(jù)的重構(gòu)。這樣能夠滿足用戶在數(shù)字化轉(zhuǎn)型升級過程中所遇到的高并發(fā)、高性能,以及簡化運維的場景化需求。
針對數(shù)據(jù)庫場景的優(yōu)化,MogDB Cube存儲層實現(xiàn)8K原子寫,能夠確保寫的原子性,從而去除數(shù)據(jù)庫雙寫代價;此外還包括,xlog日志下盤實現(xiàn)多路異步寫,確保無空洞保序返回,在保證數(shù)據(jù)一致性的前提下提高事務提交性能。張程偉表示:“優(yōu)先處理xlog日志的IO,即使在負載過載的情況下還能獲得穩(wěn)定的事務提交性能;同時基于分布式存儲的快速克隆技術,能夠?qū)崿F(xiàn)整個數(shù)據(jù)庫集群的快速克隆。”
資源池化架構(gòu)是最新版MogDB的最大亮點。內(nèi)存池化技術通過分布式鎖,將不同節(jié)點的內(nèi)存整合為全局一致的分布式緩存,避免在主備節(jié)點間復制xlog日志,將主備切換的RTO時間進一步縮短到10秒以內(nèi),同時還使得備機可以提供實時一致性讀的能力,幫助對數(shù)據(jù)一致性敏感的業(yè)務從單節(jié)點擴展到集群能力。存儲池化技術,通過分布式文件系統(tǒng)提供多個數(shù)據(jù)庫節(jié)點一致訪問共享存儲的能力,這樣可以使數(shù)據(jù)庫集群中的主備節(jié)點能夠共享訪問同一份數(shù)據(jù),將存儲成本降低50%以上。“當企業(yè)需要擴容數(shù)據(jù)庫節(jié)點提升性能時,不再需要在新節(jié)點構(gòu)建全量數(shù)據(jù),可以直接掛載訪問共享存儲上的同一份數(shù)據(jù),實現(xiàn)分鐘級的備機擴容。”張程偉做了詳細的闡述。
另外,MogDB Cube還針對大容量混合負載進行了性能優(yōu)化。其通過讀寫分離,以及將只讀業(yè)務自動負載均衡到多個備節(jié)點,低沖突場景可達70%的線性度,而在一主兩備架構(gòu)下,多機并行查詢可以使TPC-H總性能提升150%。
同時,MogDB Cube中還融入了云和恩墨數(shù)據(jù)庫云管平臺zCloud的圖形化管理能力和自動化、智能化的運維能力,提供開箱即用的一體化的交付形式,更是為用戶節(jié)省了80%的部署時間。
張程偉介紹到,在與某客戶聯(lián)創(chuàng)方案中,客戶在生產(chǎn)中心和災備中心各部署一套MogDB Cube,采用“2+3”的架構(gòu),即兩個數(shù)據(jù)庫節(jié)點和三個存儲節(jié)點,從而形成MogDB Cube資源池化架構(gòu)。此外,客戶還在生產(chǎn)中心和災備中心采用xlog日志同步復制,確保達成容災等級要求。
總結(jié)來看,MogDB Cube一體機產(chǎn)品,特別適合于對RTO敏感的核心業(yè)務場景,并針對大數(shù)據(jù)量混合負載場景(TP和AP)做了大量性能優(yōu)化,并且可以有效減少建設成本和運維投入。
寫在最后
如今,隨著國家對信息安全和自主可控要求不斷提高,國產(chǎn)數(shù)據(jù)庫市場也逐漸崛起,并進入高速發(fā)展階段。
沙利文咨詢合伙人兼董事總經(jīng)理楊曉騁曾表示,從國家“十四五”提出要大力發(fā)展數(shù)據(jù)庫以來,數(shù)據(jù)庫產(chǎn)業(yè)在中國有了蓬勃的發(fā)展,從市場份額來看,2019年的國產(chǎn)化比例為35%左右,而到2022年年底,國產(chǎn)化的比例已經(jīng)接近50%,這是一個非常令人欣喜的成績。
進入高速發(fā)展階段也要求國產(chǎn)數(shù)據(jù)庫廠商更要持續(xù)發(fā)力,一方面,加強技術研發(fā),突破技術攻關、產(chǎn)業(yè)生態(tài)優(yōu)化、應用協(xié)同等方面的難題,另一方面,加強行業(yè)實踐,從各行各業(yè)的場景化需求出發(fā),積累行業(yè)實踐經(jīng)驗,從而助推國產(chǎn)數(shù)據(jù)庫行業(yè)的繁榮與發(fā)展。
我們注意到,在自主創(chuàng)新、擁抱開源生態(tài)、推進行業(yè)應用落地方面,云和恩墨也在進行著自身實踐,并致力于通過數(shù)據(jù)庫基礎軟件和管理軟件賦能千行百業(yè)的數(shù)字化升級轉(zhuǎn)型,期待在未來云和恩墨通過MogDB的自身進化和廣泛應用能夠推動中國數(shù)據(jù)庫技術的創(chuàng)新與發(fā)展,為用戶創(chuàng)造更多的價值。
(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。 )