企業(yè)類(lèi)應(yīng)用與桌面類(lèi)應(yīng)用的一個(gè)顯著區(qū)別,就是它們?cè)谠O(shè)計(jì)時(shí)可以充分利用超大內(nèi)存,會(huì)主動(dòng)對(duì)內(nèi)存和硬盤(pán)的使用進(jìn)行規(guī)劃以及性能優(yōu)化,都做得很專(zhuān)業(yè)。然而,在這個(gè)數(shù)據(jù)暴漲的時(shí)代,一些大數(shù)據(jù)類(lèi)應(yīng)用對(duì)內(nèi)存的需求已經(jīng)超出了可接受的成本范圍,此時(shí)不得不使用NVMe硬盤(pán)來(lái)承載大量的從主存中騰挪出來(lái)的數(shù)據(jù)。
對(duì)于某些強(qiáng)烈依賴(lài)內(nèi)存的系統(tǒng),比如內(nèi)存數(shù)據(jù)庫(kù),內(nèi)存計(jì)算系統(tǒng)而言,SDRAM到NVMe盤(pán)的性能落差甚至都覺(jué)得太大,而導(dǎo)致最終性能不令人滿(mǎn)意。所以對(duì)于這類(lèi)應(yīng)用,一個(gè)位于SDRAM和NVMe盤(pán)之間的存儲(chǔ)器層級(jí),就十分必要。英特爾?傲騰?持久內(nèi)存恰恰填補(bǔ)了這個(gè)空缺。
針對(duì)大數(shù)據(jù)激增企業(yè)端的存儲(chǔ)壓力,英特爾推出了兩大數(shù)據(jù)中心產(chǎn)品:英特爾?傲騰? 持久內(nèi)存和英特爾?傲騰?固態(tài)盤(pán)。雖然英特爾?傲騰?持久內(nèi)存 和英特爾?傲騰?固態(tài)盤(pán)都使用了相同的英特爾?傲騰? 內(nèi)存介質(zhì),但它們是完全不同的產(chǎn)品。英特爾?傲騰? 持久內(nèi)存容量大,性能接近于傳統(tǒng)的DRAM內(nèi)存,但價(jià)格更親民。位于 DIMM 封裝中,在 DRAM 總線(xiàn)上運(yùn)行,可以作為易失性?xún)?nèi)存或持久內(nèi)存使用。而英特爾?傲騰?固態(tài)盤(pán)嚴(yán)格用于標(biāo)準(zhǔn) NAND 封裝模型(AIC、M.2、U.2、EDSFF 等)中的快速存儲(chǔ),并采用 NVMe* 協(xié)議駐留于 PCIe 總線(xiàn)上,作為存儲(chǔ)設(shè)備始終保持?jǐn)?shù)據(jù)持久,可以讓更多存儲(chǔ)中的數(shù)據(jù)更加靠近CPU。
想要理解英特爾?傲騰? 持久內(nèi)存的優(yōu)越性,不妨說(shuō)說(shuō)傳統(tǒng)的內(nèi)存和存儲(chǔ)架構(gòu)。在傳統(tǒng)內(nèi)存和存儲(chǔ)架構(gòu)中,是讓 DRAM 內(nèi)存直接訪問(wèn)存儲(chǔ)設(shè)備。這些存儲(chǔ)設(shè)備可以是以往的塊存儲(chǔ)設(shè)備,也可能是 NAND 固態(tài)盤(pán)。然而,內(nèi)存和存儲(chǔ)設(shè)備之間,在數(shù)據(jù)讀取速度和容量上難以匹配。DRAM 的數(shù)據(jù)讀取速度快,缺點(diǎn)是太貴且容量密度有限,因此服務(wù)器總內(nèi)存容量受限,且DRAM內(nèi)存上的數(shù)據(jù)無(wú)法持久保存;存儲(chǔ)設(shè)備成本低、容量大,數(shù)據(jù)可持久保存,缺點(diǎn)是數(shù)據(jù)的讀取速度慢?;诖?,通過(guò)在 DRAM 內(nèi)存和塊存儲(chǔ)設(shè)備之間加入大容量 SCM 層——英特爾?傲騰?持久內(nèi)存,極大地提升了內(nèi)存存儲(chǔ),保證最常用的數(shù)據(jù)以最高性能進(jìn)行訪問(wèn),以高性?xún)r(jià)比提供了出色性能。
說(shuō)說(shuō)離我們生活較近的案例,在我們?nèi)粘I钪校苋菀装l(fā)現(xiàn)自己的使用習(xí)慣、消費(fèi)習(xí)慣、生活喜好很容易被大數(shù)據(jù)抓取,用于用戶(hù)畫(huà)像、商品推薦等業(yè)務(wù),這些業(yè)務(wù)的背后都可能有Redis存儲(chǔ)的支持。作為內(nèi)存數(shù)據(jù)庫(kù),Redis 依賴(lài)高內(nèi)存容量,這樣才能愜意地享受比固態(tài)盤(pán)更高的數(shù)據(jù)吞吐帶寬,以及更低的數(shù)據(jù)處理延時(shí)。
英特爾?傲騰?持久內(nèi)存可在每個(gè)CPU的內(nèi)存總線(xiàn)上提供高達(dá) 3TB 的內(nèi)存容量,同時(shí)性能接近 DRAM。與第二代英特爾?至強(qiáng)?可擴(kuò)展處理器搭配使用,提供比前幾代處理器更出色的單位內(nèi)核性能和內(nèi)存容量,這些因素均有利于 Redis 的部署,并且體現(xiàn)在具體數(shù)據(jù)中。
來(lái)看數(shù)據(jù)測(cè)試,兩套配置幾乎完全相同的服務(wù)器系統(tǒng),區(qū)別在于一臺(tái)使用英特爾?傲騰?持久內(nèi)存,另一臺(tái)使用傳統(tǒng)內(nèi)存,測(cè)試下來(lái),兩系統(tǒng)提供的性能和虛擬機(jī)密度類(lèi)似,延遲均小于 1 毫秒。但采用英特爾?傲騰?持久內(nèi)存的系統(tǒng),每個(gè)虛機(jī)可以降低 20% 成本,同時(shí)還能滿(mǎn)足所有虛擬機(jī) SLA 要求。這是針對(duì)單機(jī)同內(nèi)存容量的狀況的成本分析。
在 Redis 服務(wù)器集群中使用英特爾?傲騰?持久內(nèi)存,成本可以降低高達(dá) 40%,而且由于單臺(tái)服務(wù)器搭載內(nèi)存更多,因此服務(wù)器節(jié)點(diǎn)更少,無(wú)論是基礎(chǔ)設(shè)施的運(yùn)維,還是數(shù)據(jù)的管理,都更加方便。
英特爾?傲騰?持久內(nèi)存加速阿里Mars系統(tǒng)
在一次測(cè)試中,阿里的Mars分布式內(nèi)存計(jì)算框架利用英特爾?傲騰?持久內(nèi)存,取得了很不錯(cuò)的性能加成。如下圖所示,當(dāng)需要處理的數(shù)據(jù)集超過(guò)了主存承載能力之后,溢出后的數(shù)據(jù)被放置在傲騰?存儲(chǔ)器而不是之前的NVMe硬盤(pán)中,隨著數(shù)據(jù)量溢出主存,傲騰?方案的性能會(huì)有顯著提升。
Mars是一個(gè)基于張量的統(tǒng)一分布式計(jì)算框架,突破了現(xiàn)有大數(shù)據(jù)計(jì)算引擎以關(guān)系代數(shù)為主的計(jì)算模型,將分布式技術(shù)引入科學(xué)計(jì)算和數(shù)值計(jì)算領(lǐng)域,極大地?cái)U(kuò)展了科學(xué)計(jì)算的計(jì)算規(guī)模和效率。目前Mars已經(jīng)實(shí)現(xiàn)了70%的Numpy常見(jiàn)接口,用戶(hù)只需要通過(guò)import Mars就可以將已經(jīng)編寫(xiě)好的基于Numpy的代碼移植到Mars中。
Mars會(huì)將張量自動(dòng)在各個(gè)維度上切分成小的chunk來(lái)分布式處理從而提升并行性,以便于將小顆粒任務(wù)派發(fā)到GPU,或者網(wǎng)絡(luò)遠(yuǎn)端的其它集群節(jié)點(diǎn)上并行計(jì)算。
舉例來(lái)講,對(duì)于張量矩陣乘法,Mars會(huì)生成如下圖所示的chunk級(jí)別執(zhí)行圖。在執(zhí)行過(guò)程中,會(huì)有大量的中間過(guò)程,這些過(guò)程生成大量的數(shù)據(jù)會(huì)占用寶貴的主存資源。
每個(gè)chunk執(zhí)行完畢之后,結(jié)果數(shù)據(jù)會(huì)被放置在shared memory中,當(dāng)share memory中數(shù)據(jù)過(guò)多時(shí),Mars會(huì)啟動(dòng)spill溢出控制機(jī)制,將溢出的數(shù)據(jù)轉(zhuǎn)移到下層更大容量的存儲(chǔ)器中。
經(jīng)過(guò)評(píng)估,阿里發(fā)現(xiàn)使用英特爾?傲騰?持久內(nèi)存來(lái)作為主存的下一層存儲(chǔ)器,無(wú)論是在性能上還是TCO上,相比直接用NVMe盤(pán)作為下層,都非常符合Mars系統(tǒng)的預(yù)期。
英特爾?傲騰?持久內(nèi)存提供128GB、256GB和512GB容量,遠(yuǎn)高于目前最大容量?jī)H限于每DIMM 128GB的可用SDRAM DIMM,而且與傳統(tǒng)DRAM DIMM相比,英特爾?傲騰?持久內(nèi)存的每GB成本更低。英特爾?傲騰?持久內(nèi)存通過(guò)內(nèi)存總線(xiàn)直接連接到處理器,在基于App Direct(簡(jiǎn)稱(chēng)AD)模式下,應(yīng)用程序可以完全繞過(guò)操作系統(tǒng),不需要設(shè)備驅(qū)動(dòng)程序、系統(tǒng)調(diào)用、中斷和上下文切換,就可以從用戶(hù)空間直接訪問(wèn)英特爾?傲騰?持久內(nèi)存上的數(shù)據(jù)。下圖所示為采用NVMe閃存盤(pán)、NVMe傲騰?盤(pán)和英特爾?傲騰?持久內(nèi)存的訪問(wèn)延遲對(duì)比。
總體而言,使用英特爾?傲騰?持久內(nèi)存,解決了Mars科學(xué)計(jì)算中因數(shù)據(jù)溢出傳到硬盤(pán),導(dǎo)致I/O開(kāi)銷(xiāo)增大,計(jì)算性能降低的問(wèn)題。通過(guò)測(cè)試,驗(yàn)證了在TCO成本相當(dāng)?shù)那闆r下,使用英特爾?傲騰?持久內(nèi)存能夠有效提升Mars科學(xué)計(jì)算性能。
傲騰?固態(tài)盤(pán)加速Ceph分布式存儲(chǔ)系統(tǒng)
Ceph是最常見(jiàn)的塊和對(duì)象存儲(chǔ)后端解決方案。作為一款開(kāi)源的分布式存儲(chǔ)軟件解決方案,它在分布式、可靠性、易擴(kuò)展、并發(fā)性能的優(yōu)勢(shì)越來(lái)越被行業(yè)作為專(zhuān)業(yè)存儲(chǔ)高性能解決方案。隨著云服務(wù)以及產(chǎn)業(yè)互聯(lián)網(wǎng)升級(jí)對(duì)存儲(chǔ)性能要求越來(lái)越高,英特爾?傲騰?固態(tài)盤(pán)可以在IOPS和延遲方面助力客戶(hù)產(chǎn)業(yè)升級(jí),并且其高壽命的優(yōu)勢(shì)幫助企業(yè)降低維護(hù)成本。
在 Ceph分布式存儲(chǔ)方案中,使用英特爾?傲騰?固態(tài)盤(pán)作為緩存盤(pán)為RocksDB、 WAL、OSD緩存提速,低延遲加速負(fù)載間的傳輸響應(yīng),并配合英特爾?CAS緩存加速軟件進(jìn)一步增強(qiáng)系統(tǒng)性能和可靠度。
在以成本和性能為導(dǎo)向的前提下,如何以較低成本實(shí)現(xiàn)最大性能的發(fā)揮?針對(duì)Ceph架構(gòu)中的熱數(shù)據(jù)和溫?cái)?shù)據(jù)進(jìn)行優(yōu)化,英特爾?傲騰?固態(tài)盤(pán)+英特爾?QLC 3DNAND 方案(O+Q方案),通過(guò)傲騰?解決小的隨機(jī)I/O,QLC來(lái)解決容量問(wèn)題,實(shí)現(xiàn)性能瓶頸的突破。
綜上所述,傲騰?對(duì)于企業(yè)級(jí)應(yīng)用具有非常明顯的加速效果,作為下一代固態(tài)介質(zhì)的排頭兵,Intel傲騰?近幾年逐步擴(kuò)大生態(tài),在企業(yè)級(jí)應(yīng)用加速場(chǎng)景先顯現(xiàn)出了優(yōu)良的效果。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 美國(guó)無(wú)人機(jī)禁令升級(jí)?當(dāng)?shù)乜茖W(xué)家率先“喊疼”:我們離不開(kāi)大疆
- iQOO Neo10 Pro:性能特長(zhǎng)之外,亦有全能實(shí)力
- 自動(dòng)駕駛第一股的轉(zhuǎn)型迷途:圖森未來(lái)賭上了AIGC
- 明星熱劇、品牌種草、平臺(tái)資源,京東讓芬騰雙11的熱度“沸騰”了
- 一加 Ace 5 Pro明牌:游戲手機(jī)看它就夠了!
- 游戲體驗(yàn)天花板,一加 Ace 5 系列售價(jià) 2299 元起
- 16個(gè)月沒(méi)工資不敢離職,這些打工人“自費(fèi)上班”
- 怎樣利用微信小店“送禮”功能賺錢(qián)?
- 鴻蒙智行問(wèn)界M9,中國(guó)豪華車(chē)的龍門(mén)一躍
- 科技云報(bào)道:人工智能時(shí)代“三大件”:生成式AI、數(shù)據(jù)、云服務(wù)
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。