原標題:提速存儲行業(yè)進化的,竟然是阿里云
01
60多年前,世界上第一臺硬盤問世時,不知道他們是否可曾預料到今天的硬盤那么能裝。請注意,是臺不是塊。IBM Model 350,世界上第一臺硬盤,由50塊24英寸的磁盤構成,總?cè)萘坎坏?MB,體積卻是兩臺冰箱的大小。而今天,單塊硬盤的最大容量已經(jīng)逼近20TB,體積卻只比手機大一些。
在半個多世紀的發(fā)展進程中,存儲的進步看在眼里,從磁盤一直到SSD,脫胎換骨的變化就有很多次。毫無疑問,作為重要的基礎技術組成,它和計算、網(wǎng)絡等為推動近代的幾次信息技術革命發(fā)揮了巨大的作用。
但同時一個不可否認的事實是,在共同進步的過程中,存儲掉隊了,近些年表現(xiàn)尤甚。當摩爾定律式微,我們看到了計算技術的百花齊放,ARM、GPU、量子計算……同樣的,網(wǎng)絡短短幾年間就從1G到10G,現(xiàn)在100G算不上新鮮事,400G已經(jīng)在路上。反觀存儲,從HDD不斷提高轉(zhuǎn)速、加大容量,到SSD的出現(xiàn),提升也很可觀,但一和計算、網(wǎng)絡比就會發(fā)現(xiàn)問題。
木桶理論中,一只水桶能裝多少水取決于最短的那塊木板。計算、網(wǎng)絡跑的快,存儲必然拖后腿。云時代,這種差距體現(xiàn)的更明顯。你能想象SSD云盤的性能遠不及本地SSD嗎?換句話說,SSD帶來的存儲性能變革在云上基本沒有體現(xiàn)。在云代表著未來的大背景下,這顯然是不能接受的。
存儲亟待一次大的創(chuàng)新,來抹平與計算、網(wǎng)絡之間的差距,特別是云上存儲。
02
我們正進入一個數(shù)據(jù)井噴的時代。多年前,我們暢想車聯(lián)網(wǎng)、醫(yī)院聯(lián)網(wǎng)、工廠聯(lián)網(wǎng)……一切聯(lián)網(wǎng)。今天,在5G的助推下,AIoT時代正在加速到來。而隨著新時代的到來,首先必須面臨的一個難題就是大量數(shù)據(jù)如何解決。
有多大?IDC去年發(fā)布的《世界的數(shù)字化 從邊緣到核心》調(diào)研報告指出,全球數(shù)據(jù)量將從2018年的33ZB增至2025年的175ZB。
如何解決?把這些數(shù)據(jù)存起來倒并不難,畢竟硬盤容量越來越大。但存儲不是目的,數(shù)據(jù)的價值在利用,越用越有用,這對存儲系統(tǒng)的要求就更高了。數(shù)據(jù)得保證安全、可靠,同時要保證可用,需要的時候不掉鏈子,另外性能還得好、性價比要高……
當把所有這些用戶需求和市場上的產(chǎn)品做對比時,會發(fā)現(xiàn)中間存在一個斷檔,本地SSD盤性能還可以,但是安全性、可靠性、性價比有待商榷,云盤在后幾個方面表現(xiàn)的還不錯,但性能是最大的瓶頸。
用戶要的是能兼顧各個維度需求的產(chǎn)品,于是我們能看到存儲創(chuàng)新的兩個大方向,一個是本地存儲系統(tǒng)不斷改善安全性、可靠性、性價比,一個是云上存儲不斷提升性能。
因此歸根結(jié)底,存儲亟待一次大的革新,表面原因是它落后于計算、網(wǎng)絡技術的發(fā)展,根源則在于存儲技術已經(jīng)跟不上用戶需求的變化。
03
阿里云是引領此次存儲變革的中堅力量之一。可能此前,業(yè)界更多關注的是阿里云針對AIoT領域發(fā)布的芯片(平頭哥玄鐵910),抑或是物聯(lián)網(wǎng)操作系統(tǒng)Alios Things。
但殊不知,阿里云在去年年初還同期推出了業(yè)界首個百萬IOPS、百微秒延時的ESSD(增強型SSD,也可理解為企業(yè)級SSD),只不過較長一段時間內(nèi)其都處于測試、完善的狀態(tài),并沒有太多亮相。直到今年6月28日,阿里云正式宣布ESSD商用,我們才關注到原來ESSD已經(jīng)有那么多應用。
簡單將ESSD和芯片及物聯(lián)網(wǎng)操作系統(tǒng)做個類比,如果說阿里云的芯片和物聯(lián)網(wǎng)操作系統(tǒng)在業(yè)界還有很多可以對標的產(chǎn)品,那ESSD可以說一騎絕塵,用驚艷來形容一點不為過。
這里舉一個友商產(chǎn)品的參數(shù)做對比,其增強型SSD云盤是從2.4萬IOPS提升到了20萬IOPS,而阿里云則是直接從2萬提升到了100萬,差距之大顯而易見。
由此也就不難理解為什么業(yè)界會如此評價阿里云ESSD,說阿里云打破了存儲行業(yè)多年的瓶頸。同時也不難想象,一場關于存儲的軍備競賽很快就將上演,阿里云將成為所有廠商的對標標的。
阿里巴巴研究員、阿里云智能存儲產(chǎn)品資深總監(jiān)Alex Chen
之所以這樣說,是因為還有一個非常殘酷的現(xiàn)實。根據(jù)IDC預測,到2020年,公共云存儲量將超過個人設備總存儲量;2022年,公共云存儲量超過企業(yè)數(shù)據(jù)中心總存儲量;2025年公共云存儲量占有50%總存儲量。落后意味著沒有未來。
04
阿里云ESSD是如何做到遠超業(yè)界水準的?
如果我說,阿里云ESSD首次采用智能分布式元數(shù)據(jù)管理方式,突破集群管理的能力邊界;在業(yè)內(nèi)首次將存儲軟件與SSD融合設計用于云存儲場景;重新定義了新型的芯片和硬件;開發(fā)了新的網(wǎng)絡協(xié)議……
你可能會覺得阿里云很牛,但其實沒有什么直觀印象。但如果借用阿里巴巴研究員、阿里云塊存儲產(chǎn)品資深研發(fā)總監(jiān)朱家稷的表述,相信你馬上就能明白ESSD背后的秘密,核心在于強大的盤古2.0分布式存儲引擎。
演講中,他講了一個很形象的對比,如果我們想培養(yǎng)一個世界級的運動員,可能會關注三方面,一是希望他有非常好的身體素質(zhì),速度、反應、耐力、力量都是一流的;二、教會他這個項目的所有技巧,能夠讓他很好的協(xié)調(diào)自己的身體,發(fā)揮最大的潛能;三、把他帶到各種世界級的大賽去磨練。
阿里云打造盤古2.0也是遵循這樣的思路,首先重新定義存儲的網(wǎng)絡和硬件,相當于一個強健的體魄;其次,算法、架構不斷優(yōu)化,使其能夠處理、應對各種突發(fā)事件;最后,把它放到阿里巴巴的各種應用場景里,后者擁有世界最頂級的賽場。
05
進一步把阿里云的創(chuàng)新重新梳理一遍,邏輯就很清晰了。
硬件層,將存儲軟件與SSD融合設計;重新定義新型的芯片和硬件,比如在存儲芯片方面,自研Aliflash SSD,通過開放接口的方式進一步提升存儲系統(tǒng)效率,再比如自研神龍服務器,通過MoC 卡提供 IO虛擬化的硬件卸載,持續(xù)加速存儲和網(wǎng)絡IO;開發(fā)新的網(wǎng)絡協(xié)議……
這里著重講一下網(wǎng)絡方面,存儲的性能和很多因素有關,而網(wǎng)絡絕對算得上關系最密切的一個,網(wǎng)絡的速度、穩(wěn)定性對存儲都會造成巨大的影響。
速度層面,存儲網(wǎng)絡從10G、25G,再到100G,以及即將到來的400G,發(fā)展很快。相較之下,穩(wěn)定性有些落后。為此阿里云自研用戶態(tài)TCP Luna,發(fā)展增強型的RDMA數(shù)據(jù)傳輸協(xié)議,使高性能網(wǎng)絡系統(tǒng)穩(wěn)定性大增的同時,還提升了IO性能。
另外,在向100Gbps演進的過程中,阿里云首創(chuàng)HPCC高性能流控算法,對于保障網(wǎng)絡的穩(wěn)定性和性能的一致性有非常大的幫助。值得一提的是,這一算法核心思想還在2019年的 SIGCOMM上得到發(fā)表。
軟件層,阿里云在算法和架構方面加入了很多創(chuàng)新,比如智能預測的技術,通過分級的智能調(diào)度,借助微妙級的多流映射QoS,能夠預防硬件的瞬時故障,實現(xiàn)快速發(fā)現(xiàn)、快速隔離,保證系統(tǒng)的可靠性、可用性。
經(jīng)過改造,然后把盤古2.0投入阿里巴巴這個大的練兵場,每年的雙十一就是最好的鍛煉機會。
最終,成就了盤古2.0,也成就了ESSD。如果細數(shù)每一項革新,看起來都比較細微,可能只是比原來好一點,但這么多創(chuàng)新加起來,效果就不能再用加法衡量,而變成了乘法。50倍的性能提升,不是一點點改變就能實現(xiàn)。
06
雖然正式宣布商用才1個多月,但ESSD的增長是驚人的。據(jù)阿里巴巴研究員、阿里云智能存儲產(chǎn)品資深總監(jiān)Alex Chen介紹, 60%的阿里云頭部客戶在使用ESSD,截至當前,ESSD的存儲規(guī)模已經(jīng)達到100PB。一個了不起的成就。下面舉幾個具體的應用案例,看看ESSD能帶來什么提升:
- 全球領先的游戲直播分析平臺,在核心業(yè)務日志場景下全面使用ESSD云盤,降低業(yè)務時延90%;
- 全球第一的港口機械行業(yè)領導者,在SAP HANA上云關鍵業(yè)務中,全面使用ESSD云盤,提升性能300%;
- 亞洲領先的社交網(wǎng)絡公司,在彈性擴容場景下,ESSD提升業(yè)務峰值性能300%;
- 國內(nèi)領先的互聯(lián)網(wǎng)貨運調(diào)度平臺,在核心訂單系統(tǒng)、日志系統(tǒng)及容器場景下,全面使用ESSD云盤,提升關鍵業(yè)務數(shù)據(jù)庫性能100%;
- 國內(nèi)領先的創(chuàng)新型金融科技公司,在分析業(yè)務應用中使用ESSD作為TiDB的核心存儲,相比本地盤方案可靠性提升1萬倍;
這樣的例子還有很多。據(jù)悉,ESSD已經(jīng)大規(guī)模應用于數(shù)據(jù)密集型行業(yè),包括自動駕駛、電商交易、互聯(lián)網(wǎng)直播等領域,并且還在快速擴展至更多行業(yè)、更多客戶。
阿里云提速的不僅僅是這些使用ESSD的應用場景,以及這些客戶的業(yè)務效率,阿里云更是在提速整個存儲行業(yè)的發(fā)展。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋果,下個大計劃瞄準AI機器人
- 微信零錢通新政策:銀行卡轉(zhuǎn)入資金提現(xiàn)免手續(xù)費引熱議
- 消息稱塔塔集團將收購和碩印度iPhone代工廠60%股份 并接管日常運營
- 蘋果揭秘自研芯片成功之道:領先技術與深度整合是關鍵
- 英偉達新一代Blackwell GPU面臨過熱挑戰(zhàn),交付延期引發(fā)市場關注
- 馬斯克能否成為 AI 部部長?硅谷與白宮的聯(lián)系日益緊密
- 余承東:Mate70將在26號發(fā)布,意外泄露引發(fā)關注
- 無人機“黑科技”亮相航展:全球首臺低空重力測量系統(tǒng)引關注
- 賽力斯發(fā)布聲明:未與任何伙伴聯(lián)合開展人形機器人合作
- 賽力斯觸及漲停,汽車整車股盤初強勢拉升
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。