在這個(gè)數(shù)據(jù)為王的時(shí)代,數(shù)據(jù)是人工智能的三大支柱之一,其重要性不言而喻。最近,OpenAI收購(gòu)了數(shù)據(jù)庫(kù)初創(chuàng)公司Rockset,迅速引起了業(yè)內(nèi)外的廣泛關(guān)注。OpenAI早已在算法和計(jì)算能力方面遙遙領(lǐng)先,通過這次戰(zhàn)略性的收購(gòu),OpenAI將在其產(chǎn)品中融合Rockset的先進(jìn)數(shù)據(jù)索引和查詢技術(shù),幫助OpenAI將數(shù)據(jù)轉(zhuǎn)化為“可操作智能”。
現(xiàn)代數(shù)據(jù)庫(kù)與人工智能(AI)的融合,正如同一場(chǎng)席卷全球的技術(shù)革命,深刻地重塑著技術(shù)與產(chǎn)業(yè)的格局。
一方面,數(shù)據(jù)庫(kù)技術(shù)的技術(shù)迭代需要更好地支持人工智能應(yīng)用工作負(fù)責(zé),比如向量數(shù)據(jù)庫(kù),也就是DB for AI;另一方面人工智能技術(shù)也更好地讓數(shù)據(jù)庫(kù)運(yùn)維更方便,實(shí)現(xiàn)自動(dòng)化和智能化,也就是AI for DB。
在這一個(gè)變革過程中,數(shù)據(jù)庫(kù)產(chǎn)業(yè)正面臨諸多挑戰(zhàn),比如海量數(shù)據(jù)高性能和大并發(fā)、大量數(shù)據(jù)庫(kù)實(shí)例智能優(yōu)化、保障數(shù)據(jù)安全防篡改的防護(hù)等。面對(duì)這種情況,企業(yè)如何通過技術(shù)創(chuàng)新和生態(tài)協(xié)同應(yīng)對(duì)挑戰(zhàn)并抓住其中的機(jī)遇呢?
作為數(shù)據(jù)庫(kù)領(lǐng)域的領(lǐng)頭羊,東方國(guó)信、PingCAP、云和恩墨通過自身的技術(shù)與產(chǎn)品實(shí)踐給出了他們的答案,同時(shí)他們與英特爾的協(xié)同創(chuàng)新,也讓我們看到了數(shù)據(jù)庫(kù)生態(tài)的蓬勃生機(jī)。
新需求催生新挑戰(zhàn)
在AI大模型時(shí)代,由于數(shù)據(jù)庫(kù)的使用人數(shù)和數(shù)據(jù)量的爆炸性增長(zhǎng),數(shù)據(jù)庫(kù)系統(tǒng)的并發(fā)度會(huì)極大提升。云和恩墨聯(lián)合創(chuàng)始人兼CTO楊廷琨強(qiáng)調(diào),數(shù)據(jù)量爆發(fā)性增長(zhǎng)帶來壓力的同時(shí),硬件技術(shù)的快速發(fā)展也促進(jìn)了算力提升,為提升處理能力和性能提供了可能性。這時(shí)候,數(shù)據(jù)庫(kù)廠商需從兩方面著手應(yīng)對(duì):一方面增強(qiáng)單機(jī)性能,另一方面通過架構(gòu)設(shè)計(jì)實(shí)現(xiàn)平滑擴(kuò)展,以滿足海量數(shù)據(jù)的處理需求。
同時(shí),數(shù)據(jù)量的爆炸性增長(zhǎng)也會(huì)帶來極大的數(shù)據(jù)冗余。在此挑戰(zhàn)下,用戶從需求側(cè)又提出了很多新的要求,東方國(guó)信副總裁兼CTO查禮表示:用戶往往會(huì)希望數(shù)倉(cāng)既能做數(shù)據(jù)加工,又能做分析和查詢,這要求數(shù)據(jù)庫(kù)系統(tǒng)具有高度靈活性和多功能性。
數(shù)據(jù)來源多樣化和用戶需求復(fù)雜化催生了對(duì)硬件越來越高的需求,數(shù)據(jù)庫(kù)要保持高性能、高穩(wěn)定性,開發(fā)和運(yùn)維人員又需要簡(jiǎn)化數(shù)據(jù)庫(kù)的使用,這構(gòu)成了一種“悖論”。
為解決數(shù)據(jù)庫(kù)行業(yè)“既要、又要”的問題,越來越多的數(shù)據(jù)技術(shù)公司讓AI“入局”,讓數(shù)據(jù)庫(kù)越跑越“聰明”。PingCAP服務(wù)總經(jīng)理林景旭表示,他們正探索利用AI技術(shù)增強(qiáng)數(shù)據(jù)庫(kù)功能,同時(shí)簡(jiǎn)化用戶操作。作為一家分布式數(shù)據(jù)庫(kù)廠商,PingCAP提供的開源分布式數(shù)據(jù)產(chǎn)品與解決方案,通過分布式數(shù)據(jù)庫(kù)架構(gòu),實(shí)現(xiàn)計(jì)算和存儲(chǔ)分離,以動(dòng)態(tài)擴(kuò)展?jié)M足不同用戶需求,這其中便可以通過AI算法來優(yōu)化資源使用和性能評(píng)判。
數(shù)據(jù)庫(kù)產(chǎn)業(yè)需要不斷創(chuàng)新,開發(fā)更加高效、可靠、智能的數(shù)據(jù)庫(kù)技術(shù),才能滿足新需求的挑戰(zhàn)。同時(shí),數(shù)據(jù)庫(kù)產(chǎn)業(yè)鏈也需要緊密合作,共同推動(dòng)數(shù)據(jù)庫(kù)技術(shù)的發(fā)展,為數(shù)字經(jīng)濟(jì)的發(fā)展提供更加堅(jiān)實(shí)的基礎(chǔ)。
生態(tài)協(xié)同推動(dòng)產(chǎn)業(yè)變革
數(shù)據(jù)庫(kù)產(chǎn)業(yè)面臨的挑戰(zhàn)是多方面的,這些挑戰(zhàn)并非單個(gè)企業(yè)能夠獨(dú)自解決,需要整個(gè)產(chǎn)業(yè)的協(xié)同合作,才能共同應(yīng)對(duì)挑戰(zhàn),并抓住其中的機(jī)遇。
憑借先進(jìn)的處理器技術(shù)、開源合作策略以及對(duì)客戶需求的深刻理解,英特爾與數(shù)據(jù)庫(kù)領(lǐng)域的合作伙伴一起構(gòu)建了一個(gè)開源開放、合作共贏的生態(tài)環(huán)境,助力數(shù)據(jù)庫(kù)技術(shù)的持續(xù)創(chuàng)新和應(yīng)用落地。
英特爾中國(guó)云創(chuàng)中心技術(shù)總經(jīng)理張曉軍介紹說,第四代和第五代英特爾®? 至強(qiáng)® 可擴(kuò)展處理器內(nèi)置了多項(xiàng)面向數(shù)據(jù)庫(kù)優(yōu)化的技術(shù),例如英特爾® QAT(英特爾® 數(shù)據(jù)保護(hù)與壓縮技術(shù))用于數(shù)據(jù)壓縮解壓縮,以及英特爾® IAA(英特爾® 存內(nèi)分析加速器)加速數(shù)據(jù)分析。在數(shù)據(jù)安全方面,英特爾也能通過英特爾® TDX(英特爾® 信任域擴(kuò)展)和SGX(英特爾® 軟件防護(hù)擴(kuò)展)為使用中的數(shù)據(jù)提供端到端硬件級(jí)防護(hù)能力。
此外英特爾至強(qiáng)6處理器已于近期發(fā)布,提供了兩種不同的 CPU 微架構(gòu)版本,分別為性能核 (P-core) 和能效核(E-core),讓多種工作負(fù)載的性能和能效表現(xiàn)再創(chuàng)新高。其全新功能和內(nèi)置加速器為目標(biāo)工作負(fù)載帶來進(jìn)一步助力,實(shí)現(xiàn)了更高的性能和能效。
基于英特爾® 架構(gòu)的加速器與軟件工具
眾多的合作伙伴正在借助至強(qiáng)處理器和加速器及軟件工具增強(qiáng)自身的產(chǎn)品競(jìng)爭(zhēng)力。
比如PingCAP推出的TiDB開源分布式數(shù)據(jù)庫(kù)就得益于第四代英特爾® 至強(qiáng)® 可擴(kuò)展處理器卓越的代際性能,其數(shù)據(jù)庫(kù)的只讀性能與讀寫性能分別達(dá)到基準(zhǔn)配置的1.62倍與1.43倍。
此外TiDB利用至強(qiáng)®? 可擴(kuò)展處理器搭載的英特爾®? IAA提供的出色吞吐量壓縮和解壓縮功能,在不影響性能的前提下,提升了數(shù)據(jù)壓縮率,節(jié)約了存儲(chǔ)空間。PingCAP采用英特爾®? IAA代替LZ4之后,TiDB壓縮率為L(zhǎng)Z4無損壓縮算法的1.4倍。
并結(jié)合CPU的迭代,性能提升可達(dá)到原配置的1.56倍 ,有助于客戶化解數(shù)據(jù)壓縮所帶來的性能困擾。
雖然硬件性能的提升為數(shù)據(jù)庫(kù)處理海量數(shù)據(jù)提供了基礎(chǔ),但要真正發(fā)揮這些算力,需要對(duì)數(shù)據(jù)庫(kù)內(nèi)核進(jìn)行深度優(yōu)化。云和恩墨通過改進(jìn)數(shù)據(jù)庫(kù)內(nèi)核,使之更好地適應(yīng)現(xiàn)代硬件,如多核CPU、大內(nèi)存和高速IO子系統(tǒng),從而實(shí)現(xiàn)單機(jī)性能的顯著提升。
根據(jù)其透露的測(cè)試結(jié)果,在一顆至強(qiáng)®? 雙路服務(wù)器架構(gòu)上,以50G內(nèi)存配置,再加上一個(gè)NVMe的SSD閃存,云和恩墨達(dá)到了700萬(wàn)TPCC的指標(biāo),可以說是極大提高了單機(jī)能力。
東方國(guó)信適用于超大規(guī)模數(shù)據(jù)存儲(chǔ)和在線分析的大數(shù)據(jù) BEH平臺(tái)企業(yè)版通過集成Gluten與Velox Backend向量化執(zhí)行引擎,為Spark注入了原生矢量化執(zhí)行的能力,同時(shí)結(jié)合第四代英特爾® 至強(qiáng)® 可擴(kuò)展處理器,以及處理器集成的英特爾® QAT加速器,顯著優(yōu)化了Spark批處理計(jì)算、SparkSQL計(jì)算、SQL查詢服務(wù)的執(zhí)行效率。經(jīng)測(cè)試,在相同硬件環(huán)境下,配合英特爾® QAT的加成,Spark計(jì)算性能可提升高達(dá) 2.9倍。
除了硬件之外,英特爾還強(qiáng)化了在軟件及數(shù)據(jù)庫(kù)生態(tài)方面的投入。張曉軍還強(qiáng)調(diào)了英特爾在開源領(lǐng)域的貢獻(xiàn),如Apache社區(qū)的Gluten項(xiàng)目,已經(jīng)在很多客戶系統(tǒng)里得到了廣泛應(yīng)用,相比傳統(tǒng)的Spark,性能可以提高2-3倍,如果其運(yùn)行在英特爾的硬件上預(yù)計(jì)取得更優(yōu)性能,顯著提升大數(shù)據(jù)處理效率。·
數(shù)據(jù)庫(kù)與AI深度融合
隨著大數(shù)據(jù)時(shí)代的到來,數(shù)據(jù)量及系統(tǒng)數(shù)量都呈指數(shù)級(jí)增長(zhǎng),數(shù)據(jù)類型也由結(jié)構(gòu)化數(shù)據(jù)逐漸演變成了非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù),這就對(duì)數(shù)據(jù)庫(kù)系統(tǒng)的穩(wěn)定性和能力提出了更高的要求,數(shù)據(jù)庫(kù)技術(shù)和人工智能技術(shù)相結(jié)合成為當(dāng)前熱門的研究主題之一。
在AI時(shí)代,數(shù)據(jù)已成為驅(qū)動(dòng)企業(yè)發(fā)展的核心要素,而數(shù)據(jù)庫(kù)作為存儲(chǔ)、管理和分析數(shù)據(jù)的重要基礎(chǔ)設(shè)施,與AI技術(shù)的深度融合將是大勢(shì)所趨。這種融合不僅能夠提升數(shù)據(jù)庫(kù)的性能和智能化水平,還能夠推動(dòng)AI技術(shù)的應(yīng)用落地。
數(shù)據(jù)庫(kù)廠商在不同維度上探索和應(yīng)用AI,東方國(guó)信正在利用AI技術(shù),尤其是在智能取數(shù)方面,通過自然語(yǔ)言處理生成SQL語(yǔ)句,提高數(shù)據(jù)提取的靈活性和效率。同時(shí),他們也在探索智能建倉(cāng),嘗試通過AI技術(shù)自動(dòng)化數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建和維護(hù)流程,旨在實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的自動(dòng)化和智能化。
查禮表示,公司正積極研發(fā)解決方案,旨在通過AI輔助減少人工介入,提高效率,預(yù)計(jì)通過AI技術(shù)的引入,數(shù)倉(cāng)維護(hù)成本能降低60%。
PingCAP利用AI算法進(jìn)行資源管理,讓數(shù)據(jù)庫(kù)更適應(yīng)復(fù)雜多變的業(yè)務(wù)場(chǎng)景。林景旭強(qiáng)調(diào),通過集成AI技術(shù),比如利用AI優(yōu)化數(shù)據(jù)庫(kù)內(nèi)部管理,提升數(shù)據(jù)庫(kù)本身的智能水平,使其在滿足復(fù)雜業(yè)務(wù)場(chǎng)景的同時(shí),降低使用門檻。這意味著數(shù)據(jù)庫(kù)不僅要有強(qiáng)大的數(shù)據(jù)處理能力,還需具備自我管理和優(yōu)化的能力,確保在面對(duì)日益復(fù)雜的業(yè)務(wù)需求時(shí),能更加自主、高效地運(yùn)行。
云和恩墨則推動(dòng)自身“AI for DB”和“DB for AI”的雙向促進(jìn),楊廷琨指出,云和恩墨利用AI提升數(shù)據(jù)庫(kù)性能,尤其是在數(shù)據(jù)庫(kù)智能資源管理、智能監(jiān)控、智能根因追蹤、智能參數(shù)調(diào)優(yōu)、SQL智能優(yōu)化以及自動(dòng)駕駛等方面的應(yīng)用潛能。
結(jié)語(yǔ)
現(xiàn)代數(shù)據(jù)庫(kù)與人工智能的結(jié)合不僅對(duì)處理能力、架構(gòu)靈活性和用戶體驗(yàn)提出了更高要求,也為數(shù)據(jù)庫(kù)產(chǎn)業(yè)帶來了前所未有的發(fā)展機(jī)遇。
隨著技術(shù)的不斷進(jìn)步和生態(tài)合作的深化,未來數(shù)據(jù)庫(kù)將更加智能、靈活和強(qiáng)大,為數(shù)字經(jīng)濟(jì)的發(fā)展提供堅(jiān)實(shí)的基礎(chǔ)。英特爾與數(shù)據(jù)庫(kù)領(lǐng)域的合作伙伴將一起共同推動(dòng)數(shù)據(jù)庫(kù)產(chǎn)業(yè)向智能化、高效化轉(zhuǎn)型,滿足客戶的業(yè)務(wù)創(chuàng)新需求。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )