5月8-10日,中國(guó)數(shù)據(jù)庫(kù)技術(shù)大會(huì)DTCC2019在北京舉行,鉆石贊助商浪潮在大會(huì)上展出了數(shù)據(jù)庫(kù)一體機(jī)inData系統(tǒng),該系統(tǒng)是一款成熟的HTAP方案,適合于海量事務(wù)實(shí)時(shí)處理與數(shù)據(jù)實(shí)時(shí)分析的混合負(fù)載業(yè)務(wù)場(chǎng)景,可以處理PB級(jí)數(shù)據(jù)量,解決了大型企業(yè)數(shù)字化轉(zhuǎn)型中的數(shù)據(jù)挑戰(zhàn)。
企業(yè)數(shù)字轉(zhuǎn)型的數(shù)據(jù)挑戰(zhàn)
DTCC是中國(guó)數(shù)據(jù)庫(kù)和大數(shù)據(jù)領(lǐng)域規(guī)模最大、最具影響力的技術(shù)峰會(huì),本屆大會(huì)的主題是“數(shù)據(jù)風(fēng)云 十年變遷”,會(huì)議議題集中于過(guò)去十年的數(shù)據(jù)庫(kù)互聯(lián)網(wǎng)化演進(jìn)以及未來(lái)的發(fā)展趨勢(shì)。在過(guò)去的十年中,傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)產(chǎn)品一直在不斷采用互聯(lián)網(wǎng)技術(shù),以應(yīng)對(duì)企業(yè)日益增長(zhǎng)的訪問(wèn)壓力和數(shù)據(jù)量。據(jù)IDC預(yù)測(cè),2020年,全球數(shù)據(jù)量會(huì)達(dá)到44ZB,2035年會(huì)達(dá)到1.9萬(wàn)ZB?! ?/p>
浪潮inData產(chǎn)品負(fù)責(zé)人表示,很多企業(yè)的數(shù)據(jù)量達(dá)到幾百TB的規(guī)模時(shí),數(shù)據(jù)庫(kù)的并發(fā)處理能力和處理延時(shí)等技術(shù)指標(biāo)就會(huì)下降得很厲害,inData數(shù)據(jù)庫(kù)一體機(jī)能幫助用戶有效地解決這一問(wèn)題。
橫向擴(kuò)展的數(shù)據(jù)系統(tǒng)
inData采用了配置KAS存儲(chǔ)虛擬化模塊的浪潮K-DB11g軟件和優(yōu)化的X86服務(wù)器、Flash存儲(chǔ)以及InfiniBand等加速硬件,具備智能分布式存儲(chǔ)、軟硬件極致優(yōu)化器、一體化資源管理等高級(jí)功能。
相比于共享統(tǒng)一存儲(chǔ)的傳統(tǒng)數(shù)據(jù)庫(kù),inData最大特點(diǎn)是采用了分布式架構(gòu),由縱向擴(kuò)展轉(zhuǎn)變?yōu)闄M向擴(kuò)展,從而可以承載PB級(jí)數(shù)據(jù)量、處理海量并發(fā)訪問(wèn)。系統(tǒng)分為計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)三個(gè)軟硬件緊耦合的資源池,多個(gè)數(shù)據(jù)庫(kù)計(jì)算節(jié)點(diǎn)構(gòu)成RAC集群,配置I/O加速系統(tǒng)的服務(wù)器在KAS統(tǒng)一管理下構(gòu)成存儲(chǔ)池,所有的計(jì)算、存儲(chǔ)設(shè)備通過(guò)2臺(tái)或以上的InfiniBand交換機(jī)連接。
存儲(chǔ)虛擬化KAS 讀寫百萬(wàn)IOPS
KAS采用了多副本、分布式的數(shù)據(jù)存儲(chǔ)管理技術(shù),數(shù)據(jù)會(huì)有2-3重副本,數(shù)據(jù)及副本被同時(shí)寫入多組磁盤,系統(tǒng)I/O性能會(huì)隨著磁盤數(shù)量的增加線性增長(zhǎng),解決了長(zhǎng)期以來(lái)的數(shù)據(jù)庫(kù)磁盤性能瓶頸,而且,多副本技術(shù)還隔離磁盤故障對(duì)于系統(tǒng)的影響,磁盤發(fā)生故障后,系統(tǒng)會(huì)繼續(xù)從其他節(jié)點(diǎn)讀取數(shù)據(jù)。
另外,inData會(huì)自動(dòng)統(tǒng)計(jì)數(shù)據(jù)的訪問(wèn)頻次,將經(jīng)常被訪問(wèn)的“熱點(diǎn)數(shù)據(jù)”存儲(chǔ)在熱點(diǎn)盤——PCIe SSD閃存卡中,不經(jīng)常訪問(wèn)的數(shù)據(jù)則會(huì)存儲(chǔ)在大容量機(jī)械磁盤中,兼顧了成本與性能。
性能優(yōu)化,每分鐘數(shù)百萬(wàn)事務(wù)處理
inData系統(tǒng)能輕松實(shí)現(xiàn)百萬(wàn)級(jí)IOPS、海量吞吐與微妙延遲,而且浪潮對(duì)于系統(tǒng)進(jìn)行細(xì)致的整體優(yōu)化,這些優(yōu)化技術(shù)很好地降低了磁盤I/O頻次,減少了數(shù)據(jù)熱區(qū),并且讓系統(tǒng)負(fù)載更合理地分配,讓系統(tǒng)的在線事務(wù)處理能力達(dá)到了每分鐘數(shù)百萬(wàn)次。
例如獨(dú)特的智能過(guò)濾技術(shù)。inData在處理需要Full Scan全表掃描的復(fù)雜請(qǐng)求時(shí),計(jì)算節(jié)點(diǎn)接收到的大SQL語(yǔ)句會(huì)拆分為多個(gè)小SQL語(yǔ)句,隨后卸載到各存儲(chǔ)節(jié)點(diǎn)進(jìn)行處理,存儲(chǔ)節(jié)點(diǎn)處理完畢后將結(jié)果集返回計(jì)算節(jié)點(diǎn)進(jìn)行整合,然后響應(yīng)給用戶,這樣可以更為有效地利用存儲(chǔ)節(jié)點(diǎn)的計(jì)算資源,提高系統(tǒng)性能。
大會(huì)上,浪潮介紹了inData在政府行業(yè)的應(yīng)用案例,該用戶的數(shù)據(jù)來(lái)源復(fù)雜,包括人物關(guān)聯(lián)表、區(qū)域監(jiān)控錄像、交易記錄、語(yǔ)音、征信等十幾種,數(shù)據(jù)量也十分驚人,浪潮為用戶開發(fā)定制版的inData系統(tǒng),將原來(lái)的OLTP、OLAP整合為統(tǒng)一的HTAP系統(tǒng),用戶的項(xiàng)目開發(fā)周期縮短了2個(gè)月,并減少了50%的數(shù)據(jù)實(shí)例節(jié)點(diǎn)。目前,該系統(tǒng)數(shù)據(jù)量為180TB,每天加載數(shù)據(jù)1TB,數(shù)據(jù)生命周期為180天,數(shù)據(jù)量將逐步達(dá)到峰值400TB。
下一代,融合HTAP與Big Data
伴隨著企業(yè)數(shù)字化轉(zhuǎn)型的深入,越來(lái)越多的企業(yè)開始用HTAP來(lái)替代原有的OLAP和OLTP系統(tǒng)。inData為一站交付式設(shè)計(jì),可以開箱即用,并且界面化操作,簡(jiǎn)潔易用。浪潮還提供原廠的全程技術(shù)服務(wù)和技術(shù)培訓(xùn),可以讓用戶更快地跨過(guò)應(yīng)用門檻。而且,inData兼容目前各個(gè)數(shù)據(jù)庫(kù)行業(yè)通行的標(biāo)準(zhǔn),很好地融入了當(dāng)前的數(shù)據(jù)生態(tài),降低了后續(xù)維護(hù)的技術(shù)復(fù)雜度和成本支出?! ?/p>
據(jù)浪潮inData產(chǎn)品負(fù)責(zé)人透露,浪潮正在開發(fā)下一代inData數(shù)據(jù)庫(kù)系統(tǒng),新一代產(chǎn)品將完成HTAP與Big Data的融合處理能力,集成AI,并且將系統(tǒng)性提升一個(gè)數(shù)量級(jí)。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 為什么年輕人不愛(ài)換手機(jī)了
- 柔宇科技未履行金額近億元被曝已6個(gè)月發(fā)不出工資
- 柔宇科技被曝已6個(gè)月發(fā)不出工資 公司回應(yīng)欠薪有補(bǔ)償方案
- 第六座“綠動(dòng)未來(lái)”環(huán)保公益圖書館落地貴州山區(qū)小學(xué)
- 窺見(jiàn)“新紀(jì)元”,2021元宇宙產(chǎn)業(yè)發(fā)展高峰論壇“廣州啟幕”
- 以人為本,景悅科技解讀智慧城市發(fā)展新理念
- 紐迪瑞科技/NDT賦能黑鯊4 Pro游戲手機(jī)打造全新一代屏幕壓感
- 清潔家電新老玩家市場(chǎng)定位清晰,攜手共進(jìn),核心技術(shù)決定未來(lái)
- 新思科技與芯耀輝在IP產(chǎn)品領(lǐng)域達(dá)成戰(zhàn)略合作伙伴關(guān)系
- 芯耀輝加速全球化部署,任命原Intel高管出任全球總裁
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。