在剛剛結(jié)束的第十二屆數(shù)據(jù)技術(shù)嘉年華上,CCF數(shù)據(jù)庫專委會副主任、openGauss社區(qū)技術(shù)委員會主席、清華大學計算機系副主任李國良發(fā)表了《openGauss:聚焦數(shù)據(jù)庫內(nèi)核創(chuàng)新,共建開源數(shù)據(jù)庫根社區(qū)》的主旨演講。李國良提到,盡管經(jīng)過50多年的發(fā)展,數(shù)據(jù)庫發(fā)生了翻天覆地的變化,但數(shù)據(jù)庫向下充分利用硬件資源發(fā)揮算力優(yōu)勢,向上支撐各種不同應用繁榮創(chuàng)新卻是持續(xù)不變的。
CCF數(shù)據(jù)庫專委會副主任,openGauss社區(qū)技術(shù)委員會主席,清華大學計算機系副主任、長聘教授 李國良
“從原來的單一模態(tài)到多模態(tài)發(fā)展、從原來基于人的信任機制到通過技術(shù)保證數(shù)據(jù)的安全性、從原來的集中式數(shù)據(jù)庫到分布式數(shù)據(jù)庫,數(shù)據(jù)庫產(chǎn)業(yè)正隨著技術(shù)的不斷演進呈現(xiàn)多元融合的發(fā)展態(tài)勢。”李國良如此說道。
然而,技術(shù)的創(chuàng)新應用不僅帶來了數(shù)據(jù)庫的繁榮發(fā)展,也使得我們不得不面臨來自大容量高性能、高可用、智能優(yōu)化、安全等方面的挑戰(zhàn)。對此,李國良提到,一直以來,openGauss圍繞核心技術(shù)的創(chuàng)新和探索、建立國產(chǎn)數(shù)據(jù)庫的根社區(qū)、以引領性和創(chuàng)造性推動數(shù)據(jù)庫產(chǎn)業(yè)發(fā)展三大使命持續(xù)創(chuàng)新和突破數(shù)據(jù)庫領域核心技術(shù)。
圍繞“四高”構(gòu)筑企業(yè)級開源數(shù)據(jù)庫競爭力
李國良表示,自2020年6月開源以來,openGauss一直圍繞高性能、高可用、高智能、高安全突破創(chuàng)新數(shù)據(jù)庫核心技術(shù),構(gòu)筑數(shù)據(jù)庫內(nèi)核創(chuàng)新競爭力,并向開源社區(qū)持續(xù)貢獻核心技術(shù),致力于打造企業(yè)級開源數(shù)據(jù)庫。
例如,在高性能方面,從原位更新(in-place update 引擎)到全局的緩存管理、從計劃管理到并行查詢優(yōu)化和并行度自適應等技術(shù)持續(xù)提升數(shù)據(jù)庫性能;在高可用方面,通過資源池化共享存儲、分布式共享內(nèi)存,進一步提高資源利用率;在高智能方面,基于DBMind自治平臺的多指標關(guān)聯(lián)性分析,實現(xiàn)運維效率倍數(shù)提升;在高安全方面,通過軟硬件協(xié)作處理,實現(xiàn)數(shù)據(jù)可用不可見等。
前不久,openGauss 5.0版本已經(jīng)正式上線。該版本與之前的版本功能特性保持兼容,在內(nèi)核能力、工具鏈、兼容性方面得到了全面增強。不僅如此,聚焦“四高”,openGauss 5.0版本也實現(xiàn)了全面優(yōu)化和進階。
在高性能方面,智能基數(shù)估計能夠提升統(tǒng)計信息準確率;分層自適應并行查詢技術(shù)能夠結(jié)合數(shù)據(jù)庫資源情況、實際執(zhí)行環(huán)境可用資源負載情況,最大化當前SQL可用并行度。同時,還可以利用分層估算模型,合理利用資源,實現(xiàn)多層級并行度自適應調(diào)整;在線SQL Patch技術(shù)無需修改業(yè)務語句,通過調(diào)用數(shù)據(jù)庫提供的接口,便可以對指定的查詢語句模板進行hint調(diào)優(yōu),將復雜的SQL計劃調(diào)優(yōu)時間從數(shù)天降低到秒級,實現(xiàn)應用無需變更調(diào)整。
在高可用方面,基于Paxos的多層級高可用架構(gòu),支持Logger節(jié)點,降低部署成本;資源池化架構(gòu)實現(xiàn)存儲利用率倍增,多節(jié)點實時一致性數(shù)據(jù)讀取;并行邏輯解碼深度優(yōu)化,使得多活場景下復制效率倍數(shù)提升。
在高智能方面,基于庫內(nèi)原生AI引擎的分層式混合洗牌算法通過添加算子的方式,在存取塊和內(nèi)存元組兩個維度對I/O數(shù)據(jù)進行并行洗牌,在避免了完全數(shù)據(jù)洗牌的同時保證了機器學習算法的收斂速度,大大提升了效率。
在高安全方面,基于注意力機制的異常行為檢測技術(shù),能夠精準捕捉攻擊行為;基于標簽的訪問控制,保證機密數(shù)據(jù)管控安全,防護等級更高。
openGauss開源創(chuàng)新永不停歇
openGauss自開源以來,已經(jīng)在技術(shù)、生態(tài)、商業(yè)和社區(qū)治理方面獲得了快速發(fā)展。截至目前,已有230多家企業(yè)和機構(gòu)加入社區(qū),4500多名開發(fā)者參與社區(qū)貢獻,下載量突破160萬次,并且面向金融、政府、電信、能源、制造、交通等行業(yè)提供了500多個行業(yè)解決方案。
以某大型商業(yè)銀行的數(shù)字銀行變革實踐為例,該銀行從2019年底立項開始新一代分布式個人核心系統(tǒng)建設,并在2020年選型openGauss作為核心數(shù)據(jù)管理系統(tǒng),經(jīng)過3年的開發(fā)與建設,在2022年實現(xiàn)了原核心業(yè)務和用戶全量平滑遷移到基于openGauss個人核心系統(tǒng)的目標,使得結(jié)息總時長降低82%,國際匯款交易時間縮短50%,有效支撐了6.5億用戶、18億帳戶、4萬個網(wǎng)點的實時業(yè)務交易。
在李國良看來,這是全球首家大型商業(yè)銀行基于通用硬件和開源數(shù)據(jù)庫開發(fā)的個人核心交易系統(tǒng)。同時,也是新技術(shù)帶來的新價值、新服務和新增長點。“通過持續(xù)的行業(yè)實踐,希望不同行業(yè)的客戶能夠借助openGauss提升業(yè)務運行效率,并通過數(shù)據(jù)庫內(nèi)核安全可信的能力,保障業(yè)務持續(xù)穩(wěn)定、安全可靠地運行。不僅如此,openGauss還希望通過積極推進產(chǎn)學研用,打造數(shù)據(jù)庫根社區(qū),與合作伙伴一起共同服務行業(yè)客戶。”李國良如是說。
事實上,開源開放、協(xié)同創(chuàng)新是openGauss社區(qū)生態(tài)日漸繁榮的秘訣。而基于共建、共享、共治的理念,openGauss開源社區(qū)在社區(qū)孵化、治理等方面也在逐步升級與完善。與此同時, openGauss開源社區(qū)還通過聯(lián)合企業(yè)、高校、獨立開發(fā)者等多方力量,構(gòu)建了開源數(shù)據(jù)庫根社區(qū),筑就了社區(qū)技術(shù)核心競爭力,將中國開源數(shù)據(jù)庫推上了新的高度。
在筆者看來,作為IT系統(tǒng)的核心,數(shù)據(jù)庫需要長期的戰(zhàn)略投入、軟硬件的技術(shù)積累、經(jīng)得住考驗的產(chǎn)品、完善的技術(shù)支持以及成熟開放的生態(tài)。這些是數(shù)據(jù)庫廠商能否持續(xù)為客戶提供更好的產(chǎn)品和服務的關(guān)鍵所在,也是數(shù)據(jù)庫產(chǎn)業(yè)發(fā)展非常重要的一環(huán)。
(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )