隨著5G/大數(shù)據(jù)/AI發(fā)展，非結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式增長(zhǎng)，更加關(guān)注TCO和效率提升，大容量 (云) 、大帶寬 (視頻, HPC/AI)、融合存儲(chǔ)(數(shù)據(jù)湖)場(chǎng)景增長(zhǎng)迅速，云化時(shí)代呼喚新架構(gòu)數(shù)據(jù)存儲(chǔ)，如果說(shuō)集中式存儲(chǔ)是火車(chē)的話，那么分布式存儲(chǔ)就是是云時(shí)代的動(dòng)車(chē)。行業(yè)關(guān)鍵客戶云化轉(zhuǎn)型進(jìn)入深水區(qū)，分布式存儲(chǔ)大勢(shì)已來(lái)。

分布式存儲(chǔ)從應(yīng)用開(kāi)發(fā)測(cè)試和備份歸檔場(chǎng)景起步，逐步進(jìn)入虛擬化/云、大數(shù)據(jù)、HPC/AI等場(chǎng)景，一直以來(lái)大家更關(guān)注分布式存儲(chǔ)擴(kuò)展性，性價(jià)比，但是新場(chǎng)景對(duì)分布式存儲(chǔ)的高性能低時(shí)延提出了更高的訴求。

分布式存儲(chǔ)性能提升的天花板效應(yīng)出現(xiàn)

一直以來(lái)，分布式存儲(chǔ)的IO性能和時(shí)延受制于傳統(tǒng)機(jī)械硬盤(pán)的訪問(wèn)速度。但隨著閃存盤(pán)的廣泛采用，分布式存儲(chǔ)的整體性能得到了極大的提高，也為分布式存儲(chǔ)沖擊高價(jià)值存儲(chǔ)市場(chǎng)提供了更多的可能性。但是傳統(tǒng)上通過(guò)增加存儲(chǔ)節(jié)點(diǎn)的并發(fā)度來(lái)提升性能的手段，在全閃存的分布式存儲(chǔ)系統(tǒng)中代價(jià)越來(lái)越高，隨著節(jié)點(diǎn)的增加帶來(lái)的性能提升非常有限，另外是隨著節(jié)點(diǎn)的增多時(shí)延會(huì)急劇的增加。

傳統(tǒng)網(wǎng)絡(luò)的擁塞丟包機(jī)制成為幕后黑手

為什么全閃存的分布式存儲(chǔ)隨著節(jié)點(diǎn)的增加性能提升不明顯但是時(shí)延會(huì)急劇的增加呢?通過(guò)一次IO端到端時(shí)延的分析發(fā)現(xiàn)，隨著閃存介質(zhì)的的時(shí)延降低，網(wǎng)絡(luò)的時(shí)延已經(jīng)成為明顯的短木板。在傳統(tǒng)硬盤(pán)時(shí)代，90%的時(shí)延來(lái)自于硬盤(pán)訪問(wèn)時(shí)延，網(wǎng)絡(luò)時(shí)延忽略不計(jì);但是在閃存時(shí)代，us級(jí)的介質(zhì)訪問(wèn)時(shí)延幾乎可忽略，65%以上時(shí)延在網(wǎng)絡(luò)中，特別是隨著分布式存儲(chǔ)中，存儲(chǔ)節(jié)點(diǎn)的增加使得網(wǎng)絡(luò)的擁塞加劇，帶來(lái)了更高的網(wǎng)絡(luò)時(shí)延。更進(jìn)一步的分析得出，在網(wǎng)絡(luò)的整個(gè)時(shí)延中，90%的時(shí)延來(lái)自擁塞導(dǎo)致的網(wǎng)絡(luò)交換機(jī)內(nèi)部的排隊(duì)丟包。存儲(chǔ)節(jié)點(diǎn)數(shù)越多，擁塞越越多導(dǎo)致丟包越嚴(yán)重，一旦重傳帶來(lái)的時(shí)延完全不可接受。

華為AIFabric真正實(shí)現(xiàn)0丟包，100%釋放存儲(chǔ)性能

如何構(gòu)建一個(gè)0丟包的網(wǎng)絡(luò)成為分布式存儲(chǔ)突破性能天花板必須解決的問(wèn)題。

我們知道大規(guī)模網(wǎng)絡(luò)中流量超過(guò)交換機(jī)的處理和緩存能力時(shí)，基本的以太網(wǎng)處理機(jī)制就是丟棄報(bào)文。無(wú)損網(wǎng)絡(luò)的實(shí)現(xiàn)雖然包含一系列流量調(diào)度機(jī)制和措施，但其核心都在于控制發(fā)送端的發(fā)送速度，從而避免超過(guò)交換機(jī)處理能力的擁塞形成。

如何根據(jù)交換機(jī)當(dāng)前的擁塞情況精準(zhǔn)的控制源端的發(fā)送速度?當(dāng)前業(yè)界基本的做法是在交換機(jī)端口設(shè)置隊(duì)列報(bào)文排隊(duì)，一旦超過(guò)某一個(gè)閾值(臨界水線)，則意味著可能發(fā)生擁塞，就向源端反送反壓降速信號(hào)，從而對(duì)可能發(fā)生的擁塞丟包。因此閾值非常非常關(guān)鍵，它影響發(fā)送反壓信號(hào)的時(shí)機(jī)，是網(wǎng)絡(luò)中是否發(fā)生擁塞的決定性關(guān)鍵因素。如何設(shè)置閾值成為無(wú)損網(wǎng)絡(luò)技術(shù)創(chuàng)新的焦點(diǎn)和技術(shù)發(fā)展主線，大致可以分為三個(gè)階段。

過(guò)去：靜態(tài)設(shè)置，粗暴反壓

最早的無(wú)損以太交換機(jī)的基本實(shí)現(xiàn)依賴網(wǎng)絡(luò)管理員靜態(tài)設(shè)置閾值，特別考驗(yàn)管理員能力，一旦設(shè)置的太保守，則可能降速太多，吞吐率很差;設(shè)置太激進(jìn)則無(wú)法起到無(wú)損的效果。在早期FCoE階段，流量模型相對(duì)簡(jiǎn)單，基本能夠滿足業(yè)務(wù)的訴求。但是隨著當(dāng)前RoCE流量模型復(fù)雜多變，一個(gè)靜態(tài)的閾值無(wú)法滿足變化的需求，當(dāng)前這種設(shè)置方式正在被拋棄。

現(xiàn)在：動(dòng)態(tài)調(diào)整，實(shí)時(shí)反饋

一些領(lǐng)先的網(wǎng)絡(luò)廠商，在靜態(tài)設(shè)置的基礎(chǔ)上，提出了根據(jù)流量模型的變化實(shí)時(shí)調(diào)整閾值從而不斷的逼近最優(yōu)值，在吞吐和丟包之間進(jìn)行平衡，取得了較好的效果，目前已經(jīng)成為領(lǐng)先企業(yè)的主流選擇。

但是，動(dòng)態(tài)調(diào)整的問(wèn)題，需要對(duì)流量進(jìn)行實(shí)時(shí)采集分析，在大型框式設(shè)備上實(shí)現(xiàn)有一定的難度，另外雖然通過(guò)不斷調(diào)整力爭(zhēng)達(dá)到最優(yōu)值，調(diào)整過(guò)程中與最優(yōu)值還存在差距。

未來(lái)：智能預(yù)測(cè)，精準(zhǔn)控制

2019年初，華為發(fā)布了業(yè)界首款面向AI時(shí)代的CloudEngine數(shù)據(jù)中心交換機(jī)，率先將AI芯片內(nèi)嵌交換機(jī)中，獨(dú)創(chuàng)iLossless 智能無(wú)損交換算法，實(shí)現(xiàn)網(wǎng)絡(luò)100%吞吐下的真正0丟包與E2E μs級(jí)時(shí)延。據(jù)測(cè)試結(jié)果，效果已經(jīng)無(wú)限逼近了最優(yōu)值，確保無(wú)論多么網(wǎng)絡(luò)擁塞，0丟包的基礎(chǔ)上接近100%吞吐，這就是AI Fabric。通過(guò)AI Fabric構(gòu)建的業(yè)界真正實(shí)現(xiàn)0丟包的以太網(wǎng)，可以將分布式存儲(chǔ)網(wǎng)絡(luò)時(shí)延持續(xù)的穩(wěn)定在10us以下，揭開(kāi)存儲(chǔ)的天花板，充分的釋放存儲(chǔ)的性能。

AI Fabric助力華為分布式存儲(chǔ)系統(tǒng)沖擊全球性能之巔

目前AI Fabric已經(jīng)應(yīng)用到華為最新的OceanStor D系列分布式存儲(chǔ)中，通過(guò)AI Fabric可以在同等的條件下，將時(shí)延降低15%，助力存儲(chǔ)IOPS性能提升20%以上，沖擊單節(jié)點(diǎn)16.8萬(wàn)IOPS的新高度。特別是AI Fabric確保通過(guò)增加存儲(chǔ)節(jié)點(diǎn)可以接近線性的提升性能，而保持時(shí)延基本不變。

以下是實(shí)驗(yàn)室模擬的不同的業(yè)務(wù)負(fù)載下，分布式存儲(chǔ)時(shí)延和性能情況?？梢钥吹?，AI Fabric開(kāi)啟后，時(shí)延降低了15%以上，IOPS最高提升了45%。

同時(shí)，今年華為云上線了基于OceanStor分布式存儲(chǔ)底座的云盤(pán)，目前已經(jīng)成為全球性能最高的云盤(pán)，單卷性能突破100萬(wàn)IOPS，時(shí)延控制在75us，這背后，也是AI Fabric在支撐海量數(shù)據(jù)場(chǎng)景的極致低時(shí)延。(文/王新)

華為公司簡(jiǎn)介

華為是全球領(lǐng)先的ICT(信息與通信)基礎(chǔ) 設(shè)施和智能終端提供商，致力于把數(shù)字世界帶入每個(gè)人、每個(gè)家庭、每個(gè)組織，構(gòu)建萬(wàn)物互聯(lián)的智能世界。我們?cè)谕ㄐ啪W(wǎng)絡(luò)、IT、智能終端和云服務(wù)等領(lǐng)域?yàn)榭蛻籼峁┯懈?jìng)爭(zhēng)力、安全可信賴的產(chǎn)品、解決方案與服務(wù)，助力各行業(yè)數(shù)字化轉(zhuǎn)型。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）