?作者孟秋

這是個(gè)信息爆炸的年代,人類無(wú)時(shí)無(wú)刻不在制造著各種數(shù)據(jù),留下自己的數(shù)字化足跡。海量照片、網(wǎng)絡(luò)游戲、4G時(shí)代成熟的短視頻、5G時(shí)代的物聯(lián)網(wǎng)和工業(yè)互聯(lián)網(wǎng),讓數(shù)據(jù)出現(xiàn)了指數(shù)級(jí)的增長(zhǎng)。市場(chǎng)研究機(jī)構(gòu)IDC預(yù)計(jì),到2025年,全球一年產(chǎn)生的數(shù)據(jù)將高達(dá)175ZB。如果用直觀一點(diǎn)的表述,這個(gè)數(shù)據(jù)量將會(huì)存滿1879億個(gè)1TB的硬盤,全球每人平均持有二十多個(gè)這樣的硬盤。

圖1:過去十五年全球數(shù)據(jù)增長(zhǎng)速度,非結(jié)構(gòu)類數(shù)據(jù)增速遠(yuǎn)超結(jié)構(gòu)類數(shù)據(jù)

這就帶來了問題:既要讓這些數(shù)據(jù)存儲(chǔ)在安全可靠的地方,方便隨時(shí)調(diào)取,同時(shí)還要照顧到數(shù)據(jù)不要泄露,還要做好備份,防止數(shù)據(jù)損壞丟失,究竟應(yīng)該怎樣才能做到?

分布式存儲(chǔ)和云服務(wù)

分布式存儲(chǔ)的故事并不復(fù)雜。谷歌最早提出來云計(jì)算概念,這是一種分布式算法,用來處理大量搜索數(shù)據(jù)。但電商平臺(tái)起家的亞馬遜對(duì)于數(shù)據(jù)存儲(chǔ)開發(fā)的獨(dú)特需求讓它走在了前面。2006年亞馬遜推出最早的云服務(wù),利用自己研發(fā)的分布式算法打通各個(gè)數(shù)據(jù)端接口,既提供數(shù)據(jù)存儲(chǔ),也為企業(yè)的數(shù)據(jù)分析提供平臺(tái)支持。分布式存儲(chǔ)同時(shí)以基礎(chǔ)設(shè)施即服務(wù)(IaaS)和平臺(tái)即服務(wù)(PaaS)兩種商業(yè)形態(tài),形成數(shù)字化時(shí)代的最早的云服務(wù)業(yè)務(wù)。

分布式存儲(chǔ)的特征并不難以理解:既然把數(shù)據(jù)集中起來存儲(chǔ)會(huì)因?yàn)榉?wù)器問題引發(fā)“一損俱損”,那就把服務(wù)器分布到不同地理位置的數(shù)據(jù)中心就可以了。分散獨(dú)立的存儲(chǔ)設(shè)備通過網(wǎng)絡(luò)互聯(lián)進(jìn)行系統(tǒng)關(guān)聯(lián),分布式存儲(chǔ)對(duì)外作為一個(gè)整體提供存儲(chǔ)服務(wù)。在這一點(diǎn)上,它跟集中式存儲(chǔ)并沒有太多區(qū)別:都是中心化管理,有一個(gè)至高無(wú)上的管理者。

與集中式存儲(chǔ)對(duì)硬件有較高要求不同,分布式存儲(chǔ)由數(shù)量眾多且成本相對(duì)較低的普通PC服務(wù)器聯(lián)網(wǎng)而成,節(jié)點(diǎn)擴(kuò)展性很強(qiáng)且門檻比較低,擴(kuò)展的邊界幾乎不受限制,數(shù)據(jù)容量大,副本可以多處備份,這就解決了集中式存儲(chǔ)擴(kuò)展成本較高的問題。同時(shí),因?yàn)楣?jié)點(diǎn)較多而且做到了空間上的廣泛分布,一個(gè)節(jié)點(diǎn)的損壞不會(huì)讓整個(gè)系統(tǒng)宕機(jī)。螞蟻金服旗下的支付寶就利用了這種分布式存儲(chǔ)的特點(diǎn),采用“三地五中心”存儲(chǔ)的方式,在三座城市部署五個(gè)數(shù)據(jù)中心。如果某個(gè)中心發(fā)生故障,支付寶就將故障區(qū)域的流量切換到正常的機(jī)房。

在信息整合上,分布式存儲(chǔ)得以設(shè)立多個(gè)節(jié)點(diǎn),打通數(shù)據(jù)之間的關(guān)聯(lián)。但是中心化的處理方式對(duì)云服務(wù)商的計(jì)算能力和軟件集成要求很高,因?yàn)樾枰粩嗤ㄟ^軟件迭代提高數(shù)據(jù)的容錯(cuò)率,還需要對(duì)各種數(shù)據(jù)進(jìn)行分析,從而提供數(shù)據(jù)衍生服務(wù)。云計(jì)算就是在大數(shù)據(jù)存儲(chǔ)的基礎(chǔ)上誕生的衍生業(yè)務(wù)。在這一存儲(chǔ)基礎(chǔ)上衍生的增值業(yè)務(wù),成為云服務(wù)大廠的重要收入來源。

分布式存儲(chǔ)也有自己在商業(yè)上的缺陷。由于數(shù)據(jù)分散在各個(gè)節(jié)點(diǎn),導(dǎo)致它的延時(shí)性不如集中式存儲(chǔ)出色,數(shù)據(jù)容錯(cuò)性較弱,數(shù)據(jù)安全不易保證,為此行業(yè)內(nèi)通過軟件設(shè)計(jì)提升分布式存儲(chǔ)的標(biāo)準(zhǔn)化程度,同時(shí)嘗試解決痛點(diǎn)問題,軟件定義存儲(chǔ)(SDS)被認(rèn)為是分布式存儲(chǔ)的主要形態(tài),通過軟件設(shè)計(jì)來提高分布式存儲(chǔ)的自動(dòng)化程度,同時(shí)提供接口的標(biāo)準(zhǔn)化管理,支持多種標(biāo)準(zhǔn)協(xié)議,實(shí)現(xiàn)數(shù)據(jù)的寫入,讓分布式存儲(chǔ)效率大為提升。

與集中式存儲(chǔ)所面對(duì)的結(jié)構(gòu)性數(shù)據(jù)——即能夠用數(shù)據(jù)或統(tǒng)一結(jié)構(gòu)加以表示的信息,如財(cái)富報(bào)表、地址和電話號(hào)碼等——不同,分布式存儲(chǔ)的內(nèi)容主要是非結(jié)構(gòu)性數(shù)據(jù),包括圖片、視頻、音頻和文檔等,類型更加豐富。為了防止數(shù)據(jù)損壞或者丟失,一般在不同節(jié)點(diǎn)采取備份的做法,但其安全性取決于企業(yè)為數(shù)據(jù)安全建立的防火墻的技術(shù)能力。事實(shí)上,很難哪一家企業(yè)能夠確保自身萬(wàn)無(wú)一失,從微軟到谷歌,都有過數(shù)據(jù)庫(kù)被侵入導(dǎo)致數(shù)據(jù)泄露的記錄。

圖2:從集中式到分布式,中心化存儲(chǔ)的演進(jìn)

當(dāng)前公有云市場(chǎng)已經(jīng)出現(xiàn)壟斷傾向,這對(duì)數(shù)據(jù)安全、用戶需求都造成了一定的影響。需要一種新的存儲(chǔ)技術(shù)對(duì)這些現(xiàn)狀加以改變。區(qū)塊鏈技術(shù)提供了一個(gè)新的答案。

區(qū)塊鏈加持的“分散式存儲(chǔ)”

從集中式存儲(chǔ)到分布式存儲(chǔ),數(shù)據(jù)存儲(chǔ)單元本身沒有發(fā)生變化,但是存儲(chǔ)技術(shù)逐漸向軟件進(jìn)化,通過軟件技術(shù)的提升,實(shí)現(xiàn)對(duì)數(shù)據(jù)更加便捷的存取和調(diào)用。區(qū)塊鏈作為一種并不讓人陌生的軟件技術(shù),應(yīng)用在存儲(chǔ)方面,并不奇怪。但是從存儲(chǔ)管理的角度來說,集中式存儲(chǔ)本身是中心化管理的,分布式存儲(chǔ)看似服務(wù)器分布在不同區(qū)域,但它對(duì)外依舊通過單一的云服務(wù)商提供服務(wù)。中心化是集中式存儲(chǔ)和傳統(tǒng)分布式存儲(chǔ)的共同特點(diǎn)。

區(qū)塊鏈作為一種并不讓人陌生的軟件技術(shù),應(yīng)用在存儲(chǔ)方面,并不奇怪。區(qū)塊鏈技術(shù)應(yīng)用下的存儲(chǔ),與傳統(tǒng)分布式存儲(chǔ)有類似之處,其數(shù)據(jù)均存于不同地理位置的存儲(chǔ)器當(dāng)中。但區(qū)塊鏈的去中心化特征,讓這種新型存儲(chǔ)模式與中心式式存儲(chǔ)有著截然不同的特征。在這一領(lǐng)域研究者M(jìn)emoLabs將用一個(gè)新名詞定義了這一存儲(chǔ)技術(shù):分散式存儲(chǔ)。

分散式存儲(chǔ)是一個(gè)存在著無(wú)數(shù)節(jié)點(diǎn)的存儲(chǔ)網(wǎng)絡(luò)。如果將這些節(jié)點(diǎn)想象成數(shù)據(jù)存儲(chǔ)器,它既包括數(shù)據(jù)中心的服務(wù)器、存儲(chǔ)陣列這些“主流”存儲(chǔ)設(shè)備,也包括“邊緣設(shè)備”,閑置的手機(jī)、電腦、硬盤、寫字樓的電腦機(jī)房……任何能夠?qū)懭霐?shù)據(jù)并存儲(chǔ)的硬件,都有可能成為一個(gè)節(jié)點(diǎn)。數(shù)據(jù)在各個(gè)節(jié)點(diǎn)之間進(jìn)行點(diǎn)對(duì)點(diǎn)的傳輸。區(qū)塊鏈的分布式記賬確保每一次信息寫入寫出都能夠進(jìn)行記錄,體現(xiàn)出可溯源和不可篡改的特點(diǎn)。數(shù)據(jù)通過采用密碼學(xué)相關(guān)技術(shù),通常指哈希算法和加密、簽名技術(shù),進(jìn)行加密。在共識(shí)機(jī)制監(jiān)管下,使保密性不高的邊緣存儲(chǔ)設(shè)備也能確保數(shù)據(jù)安全。而相比較投資高昂的數(shù)據(jù)中心和相對(duì)廉價(jià)的服務(wù)器,邊緣設(shè)備的存儲(chǔ)成本更低,但擴(kuò)展性更強(qiáng),從而讓分散式存儲(chǔ)成為未來數(shù)據(jù)存儲(chǔ)技術(shù)的重要發(fā)展方向。

在商業(yè)模式上,分散式存儲(chǔ)與中心化的存儲(chǔ)方式也極為不同。中心化存儲(chǔ)延續(xù)了傳統(tǒng)商業(yè)模式中服務(wù)提供者-消費(fèi)者之間的買賣關(guān)系。但分散式存儲(chǔ)并沒有一個(gè)中心化的服務(wù)提供者。當(dāng)前部分分散式存儲(chǔ)服務(wù)商引入了“礦工”機(jī)制,由其通過智能合約,對(duì)整個(gè)系統(tǒng)的交易服務(wù)進(jìn)行維護(hù)。它們負(fù)責(zé)將交易內(nèi)容生成區(qū)塊,并獲得代幣獎(jiǎng)勵(lì)。用戶則以代幣的方式支付服務(wù)費(fèi)給存儲(chǔ)提供者和礦工。

跟集中式和分布式存儲(chǔ)相比,分散式存儲(chǔ)背后運(yùn)行的邏輯也非常不同。

普通的C端用戶而言可能對(duì)這一點(diǎn)感受不深。從使用方式上看,分散式存儲(chǔ)與此前的云存儲(chǔ)看上去差異并不算大。用戶從客戶端發(fā)出存儲(chǔ)要求后,分散式存儲(chǔ)機(jī)制會(huì)根據(jù)共識(shí)機(jī)制對(duì)存儲(chǔ)參數(shù)進(jìn)行計(jì)算,自動(dòng)生成智能合約。這份智能合約隨機(jī)匹配給用戶相關(guān)的存儲(chǔ)節(jié)點(diǎn)和維護(hù)節(jié)點(diǎn)。隨后存儲(chǔ)的文件,經(jīng)過客戶端加密,切片后存入存儲(chǔ)節(jié)點(diǎn)中。用戶如果需要調(diào)閱相關(guān)的存儲(chǔ)文檔,需要將自己的私鑰與客戶端加密的公鑰進(jìn)行匹配,確保安全后才能下載。

分散式存儲(chǔ)用戶上傳和下載理論上都需要付費(fèi)。在具體應(yīng)用中如何付費(fèi),有賴于分散式存儲(chǔ)應(yīng)用開發(fā)商根據(jù)自己的實(shí)際運(yùn)營(yíng)模式收取。例如,部分已經(jīng)運(yùn)行的分散式存儲(chǔ)系統(tǒng)一樣采用包年制或者包月制的付費(fèi)方式,另外也有某些系統(tǒng)采用一次性付費(fèi)的方式。這些付費(fèi)方式都是實(shí)驗(yàn)性質(zhì)的,目前其可持續(xù)性未能獲得充分證明。不過,由于存儲(chǔ)節(jié)點(diǎn)通常是閑置的邊緣存儲(chǔ)資源,而不是一次性投資的大型數(shù)據(jù)中心,分散式存儲(chǔ)服務(wù)提供者和維護(hù)者無(wú)需重金投入,其存儲(chǔ)資源的建設(shè)和開發(fā)成本較低,存儲(chǔ)用戶所支付的費(fèi)用也相對(duì)較低。一般而言,現(xiàn)有收費(fèi)一般是中心化存儲(chǔ)費(fèi)用的一半左右。

表1:中心化存儲(chǔ)和分散式(去中心化存儲(chǔ))的結(jié)構(gòu)差異

Memoriae:痛點(diǎn)和解決方案

分散式存儲(chǔ)在具有極高不確定性的邊緣設(shè)備中快速進(jìn)行數(shù)據(jù)讀寫,如何確保其具備高度的可用性呢?Memo Labs從2018年就嘗試開發(fā)的一個(gè)基于區(qū)塊鏈的分散式數(shù)據(jù)存儲(chǔ)系統(tǒng),讓我們有了管窺這種存儲(chǔ)技術(shù)的機(jī)會(huì)。

分散式存儲(chǔ)出現(xiàn),當(dāng)下存儲(chǔ)技術(shù)成本高、延時(shí)高、壟斷性和安全與效率之間難以平衡等痛點(diǎn)似乎有了解決的可能,且去中心化特點(diǎn)又改變了中心化存儲(chǔ)的壟斷問題。但新的痛點(diǎn)又產(chǎn)生了:這些邊緣設(shè)備具有安全性、可靠性較弱的問題。區(qū)塊鏈本身的分布式記賬的特點(diǎn),又容易讓分散式存儲(chǔ)平臺(tái)面臨處理大量冗余,效率過低的問題。

Memo Labs對(duì)于這些問題,開發(fā)了一套區(qū)塊鏈存儲(chǔ)技術(shù)Memoriae(以下簡(jiǎn)稱MEMO)予以解決。

在架構(gòu)上,MEMO由區(qū)塊鏈、管理設(shè)備、邊緣存儲(chǔ)設(shè)備以及用戶設(shè)備組成,總體技術(shù)架構(gòu)分為區(qū)塊鏈層、管理層、存儲(chǔ)層和用戶設(shè)備四部分。

數(shù)據(jù)存儲(chǔ)也以此進(jìn)行了分層存儲(chǔ),以便有效降低冗余。MEMO在每一層提供不同的數(shù)據(jù)管理方案:區(qū)塊鏈層用來存儲(chǔ)智能合約、賬戶和交易等信息,僅存儲(chǔ)核心數(shù)據(jù)來保障更高的可拓展性;在管理層基于副本技術(shù)對(duì)元數(shù)據(jù)進(jìn)行容錯(cuò),大幅提升系統(tǒng)的訪問處理能力;在存儲(chǔ)層則采用副本、糾刪碼與其他數(shù)據(jù)冗余技術(shù)來保障邊緣存儲(chǔ)設(shè)備上的數(shù)據(jù)的可靠性,同時(shí)獨(dú)創(chuàng)的數(shù)據(jù)恢復(fù)方法RAFI能夠有效縮短數(shù)據(jù)修復(fù)總時(shí)間,確保一個(gè)節(jié)點(diǎn)損壞后,在其他節(jié)點(diǎn)能夠迅速提供數(shù)據(jù)存儲(chǔ)修復(fù)。最后的用戶層則是實(shí)際數(shù)據(jù)存儲(chǔ)終端。數(shù)據(jù)進(jìn)行加密,切片后寫入存儲(chǔ)終端。

圖3:MEMO的分層,從內(nèi)到外從小到大分別是區(qū)塊鏈層、管理層、存儲(chǔ)層和用戶設(shè)備

MEMO僅使用區(qū)塊鏈記錄最為關(guān)鍵與穩(wěn)定的信息,如用戶、存儲(chǔ)者與維護(hù)者的角色信息及其關(guān)聯(lián)信息,即智能合約信息;這類數(shù)據(jù)容量相對(duì)于用戶存儲(chǔ)數(shù)據(jù)而言很小。而邊緣存儲(chǔ)設(shè)備僅用于存儲(chǔ)用戶實(shí)際存儲(chǔ)數(shù)據(jù)。

相對(duì)于傳統(tǒng)的區(qū)塊鏈而言,MEMO的分區(qū)和劃層,讓整個(gè)存儲(chǔ)構(gòu)架更加簡(jiǎn)潔與高效,重要數(shù)據(jù)與一般存儲(chǔ)數(shù)據(jù)進(jìn)行了區(qū)分。同時(shí),由于采用了完全的去中心化措施,數(shù)據(jù)流動(dòng)的出口帶寬限制不復(fù)存在,有利于提升響應(yīng)速度。

更多的痛點(diǎn)解決方案

在安全、效率和可靠性方面,MEMO主要在通過技術(shù)實(shí)現(xiàn)了維護(hù)者、存儲(chǔ)者和用戶三者之間的耦合,以確保安全、高效和可靠。這種耦合主要表現(xiàn)在以下方面:

第三,首先,MEMO在整個(gè)分散式存儲(chǔ)中引入了用戶(User)、提供者(Provider)和維護(hù)者(Keeper)三個(gè)角色,采用鏈下共識(shí),使整個(gè)分散式存儲(chǔ)的架構(gòu)變得相對(duì)穩(wěn)定。相對(duì)于中心化的存儲(chǔ)機(jī)制,分散式存儲(chǔ)的維護(hù)者是一個(gè)新的角色。集中式和傳統(tǒng)分布式存儲(chǔ)通常存在用戶和提供者兩個(gè)角色,提供者自身也承擔(dān)維護(hù)者的角色。但是在MEMO體系中,維護(hù)者的角色與提供者分離,將大大減輕提供者的工作壓力。維護(hù)者通常負(fù)責(zé)保護(hù)MEMO的運(yùn)行和安全維護(hù),存儲(chǔ)智能合約,通過挑戰(zhàn)提供者達(dá)成管理共識(shí),形成交易記錄,即所謂“時(shí)空用量證明”,并以此獲得酬勞。

圖4:去中心化的MEMO體系中的三類參與者

其次,應(yīng)用了密碼學(xué)技術(shù),如對(duì)稱式加解密、防碰撞哈希和數(shù)字簽名等技術(shù)對(duì)產(chǎn)品在用戶端進(jìn)行加密,將暴力破解加密的成功幾率降至最低。即使是存儲(chǔ)提供者自身也無(wú)法讀取用戶數(shù)據(jù),這一點(diǎn)相對(duì)中心化存儲(chǔ)對(duì)用戶更為友好。MEMO同時(shí)提供了副本和糾刪碼兩套冗余機(jī)制,以應(yīng)對(duì)分散式存儲(chǔ)節(jié)點(diǎn)不穩(wěn)定的特征,有效防止節(jié)點(diǎn)損壞后數(shù)據(jù)丟失的問題。

再次,為了確保在去中心化的生態(tài)下提供者和維護(hù)者本身的信用,MEMO特地設(shè)定了一套信用機(jī)制。這套機(jī)制的主要支柱是通過積分增減的方式,對(duì)提供者和維護(hù)者進(jìn)行獎(jiǎng)懲。提供者和維護(hù)者本身還需要以代幣方式進(jìn)行資金質(zhì)押,防止欺詐行為發(fā)生,這也是信用體系的另外一條支柱。

最后,MEMO是個(gè)開源式的系統(tǒng),可以通過跨鏈服務(wù)節(jié)點(diǎn)(MCS)支持外部公鏈接入,甚至可以使用外部公鏈的代幣進(jìn)行支付。這樣可以實(shí)現(xiàn)與公鏈兼容,擴(kuò)大節(jié)點(diǎn)和應(yīng)用。

從上述技術(shù)應(yīng)用來看,MEMO的技術(shù)邏輯在于,在維持去中心化存儲(chǔ)的基本原則之下,致力于針對(duì)各種現(xiàn)實(shí)問題提供有效解決方案。不過,MEMO并不是這一方向的唯一探索者。

分散式存儲(chǔ)的入局者

在MEMO之前,分散式存儲(chǔ)已有入場(chǎng)者。部分加密數(shù)字貨幣將分散式存儲(chǔ)作為代幣的應(yīng)用場(chǎng)景,通過代幣激勵(lì)礦工們加入自己的區(qū)塊鏈,實(shí)現(xiàn)節(jié)點(diǎn)的擴(kuò)張,最終構(gòu)建分散式存儲(chǔ)市場(chǎng)。2015年啟動(dòng)的Sia是最早嘗試?yán)萌蛭闯浞掷玫挠脖P容量來創(chuàng)建存儲(chǔ)市場(chǎng)的區(qū)塊鏈系統(tǒng)。它的出現(xiàn)塑造了分散式存儲(chǔ)的一些基本特征,例如采用了智能合約并將其存在區(qū)塊鏈中;在用戶端對(duì)數(shù)據(jù)進(jìn)行加密,文件切片并分別存儲(chǔ)于不同節(jié)點(diǎn)當(dāng)中,避免節(jié)點(diǎn)故障導(dǎo)致數(shù)據(jù)丟失等等。

在2017年跟進(jìn)的Filecoin采用了IPFS協(xié)議作為基礎(chǔ)設(shè)施。IPFS是一種點(diǎn)對(duì)點(diǎn)分布式網(wǎng)絡(luò)協(xié)議,有望成為新一代互聯(lián)網(wǎng)架構(gòu)協(xié)議。Filecoin是IPFS的激勵(lì)層,礦工可以通過提供檢索、存儲(chǔ)和區(qū)塊打包等方式獲得代幣報(bào)酬,以此發(fā)掘海量邊緣存儲(chǔ)設(shè)施。Filecoin提出了復(fù)制證明和時(shí)空證明,允許提供者證明數(shù)據(jù)已經(jīng)存入相應(yīng)設(shè)備中,強(qiáng)化了網(wǎng)絡(luò)安全和數(shù)據(jù)安全保護(hù)。但Filecoin在數(shù)據(jù)修復(fù)和延時(shí)問題上表現(xiàn)較弱。

和Filecoin同期出現(xiàn)的Storj沒有前者那樣的完全去中心化,維持了部分中心化的節(jié)點(diǎn),稱之為“衛(wèi)星”(Satellite),以此對(duì)系統(tǒng)進(jìn)行維護(hù)管理。這是一個(gè)相對(duì)簡(jiǎn)單有效的技術(shù),對(duì)提升網(wǎng)絡(luò)體驗(yàn)和降低技術(shù)成本均有幫助。但中心化的衛(wèi)星節(jié)點(diǎn)則可能使數(shù)據(jù)流量受到一定限制。

入場(chǎng)者中Arweave是比較有特色的分散式存儲(chǔ)玩家。它提出了數(shù)據(jù)永存的概念,理論來源于區(qū)塊鏈可以不斷添加新的數(shù)據(jù),并一直持續(xù)下去,但這理論有待驗(yàn)證。而且,如果長(zhǎng)期持續(xù),單鏈可能因?yàn)檫^大而無(wú)法維護(hù)和存儲(chǔ)原有數(shù)據(jù)。Arweave引入了RadomX算法,激勵(lì)存儲(chǔ)提供者(礦工)來保存更多的區(qū)塊。

MEMO的出現(xiàn)在某種程度上集成了上述系統(tǒng)的優(yōu)勢(shì)。它的核心思路是將關(guān)鍵信息(智能合約)存入?yún)^(qū)塊鏈,確保了它的安全和可靠。通過數(shù)據(jù)切片,在客戶端以密鑰加密后分散存儲(chǔ),保證了各個(gè)節(jié)點(diǎn)的數(shù)據(jù)的安全和私密性。在修復(fù)數(shù)據(jù)損失上,采用了自己獨(dú)創(chuàng)的RAFI,RAFI以實(shí)時(shí)查詢的方式,快速發(fā)現(xiàn)具有較高丟失風(fēng)險(xiǎn)的數(shù)據(jù),有效縮短數(shù)據(jù)修復(fù)總時(shí)間。

多個(gè)MEMO設(shè)備可形成集群效應(yīng),實(shí)現(xiàn)云存儲(chǔ)平臺(tái)的數(shù)據(jù)全局共享、統(tǒng)一存儲(chǔ)空間管理、自動(dòng)負(fù)載均衡。在文件實(shí)現(xiàn)跨區(qū)域跨網(wǎng)絡(luò)存儲(chǔ)的情況下,能夠?qū)崿F(xiàn)數(shù)據(jù)的高效存儲(chǔ)和調(diào)用。在面臨海量數(shù)據(jù)浪潮時(shí),MEMO可以提供充分激勵(lì),鼓勵(lì)存儲(chǔ)提供者加入,實(shí)現(xiàn)迅速的擴(kuò)容。

各路神仙在分散式存儲(chǔ)問題上大顯身手的時(shí)候已到來,2020年各個(gè)分散式存儲(chǔ)系統(tǒng)先后推出了自己的產(chǎn)品,意味著分散式存儲(chǔ)將正式進(jìn)入市場(chǎng)運(yùn)作和競(jìng)爭(zhēng)階段。

分散式存儲(chǔ)的商業(yè)探索

中國(guó)信通院的數(shù)據(jù)顯示,2019 年,以 IaaS、PaaS 和SaaS 為代表的全球云計(jì)算市場(chǎng)規(guī)模達(dá)到 1883 億美元,到2023年將會(huì)達(dá)到3500億美元。

圖5:市場(chǎng)研究機(jī)構(gòu)Gartner在2020年對(duì)2018-2023年云計(jì)算市場(chǎng)的統(tǒng)計(jì)和預(yù)測(cè)

但是,云計(jì)算以重資產(chǎn)和高技術(shù)作為準(zhǔn)入門檻。這個(gè)起點(diǎn)相當(dāng)高,不是誰(shuí)都能輕易玩得起。云計(jì)算市場(chǎng)呈現(xiàn)出高度的寡頭化。在公有云存儲(chǔ)市場(chǎng),亞馬遜、微軟、谷歌、阿里巴巴和騰訊控制了全球近八成的市場(chǎng),形成了中心化存儲(chǔ)在當(dāng)前不可撼動(dòng)的市場(chǎng)優(yōu)勢(shì)。分散式存儲(chǔ)盡管在技術(shù)上和理論上有著相對(duì)優(yōu)勢(shì),但短期內(nèi)還難以跟大廠們?cè)谑袌?chǎng)份額上競(jìng)爭(zhēng),也不可能在應(yīng)用上迅速取代中心化存儲(chǔ)。它需要探索出一條新的商業(yè)路線,才能在這個(gè)不斷增長(zhǎng)的市場(chǎng)里找到自己發(fā)展的藍(lán)海。

分散式存儲(chǔ)要開拓市場(chǎng),最根本要素的是實(shí)現(xiàn)節(jié)點(diǎn)的擴(kuò)張。只有通過越來越多的節(jié)點(diǎn)加入,才能夠產(chǎn)生足夠的交易,提升數(shù)據(jù)的安全性,推動(dòng)滾動(dòng)式發(fā)展。這就是互聯(lián)網(wǎng)平臺(tái)發(fā)展理論中常說的“引爆網(wǎng)絡(luò)效應(yīng)”。吸引節(jié)點(diǎn)的加入,則需要有有效的激勵(lì)機(jī)制。以區(qū)塊鏈為底層技術(shù)的的分散式存儲(chǔ)并不缺乏這一機(jī)制。通過代幣的發(fā)行和流通,即鼓勵(lì)礦工通過挖礦不斷生成區(qū)塊,可以維持區(qū)塊鏈的運(yùn)轉(zhuǎn)和擴(kuò)張。但是,鑒于分散式存儲(chǔ)所需要的存儲(chǔ)資源分布在廣泛的邊緣存儲(chǔ)設(shè)備,例如PC、智能手機(jī)、閑置的服務(wù)器甚至小區(qū)物業(yè)機(jī)房硬盤空余的分區(qū)當(dāng)中,每個(gè)存儲(chǔ)設(shè)備的所有者對(duì)于獲取存儲(chǔ)收入和礦工利潤(rùn)的期望不一。算力在存儲(chǔ)和挖礦之間如何進(jìn)行分配是個(gè)問題。如果需要實(shí)現(xiàn)節(jié)點(diǎn)的快速擴(kuò)張,如何實(shí)現(xiàn)激勵(lì)機(jī)制與合適的礦工人選進(jìn)行匹配,現(xiàn)在還在探索中。

當(dāng)前,分散式存儲(chǔ)的主要玩家是Filecoin和Storj。另外一個(gè)入局的Arweave更加強(qiáng)調(diào)“永久存儲(chǔ)”和一次付費(fèi),其模式與Filecoin以及Storj不同。Filecoin獲得資本關(guān)注,主網(wǎng)于2020年10月啟動(dòng),截至當(dāng)年底節(jié)點(diǎn)發(fā)展到近千個(gè)。但Filecoin對(duì)于硬件配置要求過高,普通的PC難以承受,其節(jié)點(diǎn)主要來自礦機(jī)商。Filecoin的另外一個(gè)問題,則是響應(yīng)速度太慢,影響到了數(shù)據(jù)存儲(chǔ)和應(yīng)用體驗(yàn)。

在節(jié)點(diǎn)的迅速擴(kuò)散上,Storj的去中心化云存儲(chǔ)平臺(tái)Tardigrade進(jìn)展更加迅速。商用的Tardigrade到目前數(shù)量超過6200個(gè),節(jié)點(diǎn)遍布全球85個(gè)不同國(guó)家或地區(qū)。已公布的網(wǎng)絡(luò)總存儲(chǔ)量為2PB(2048TB)。實(shí)際存儲(chǔ)總量根據(jù)其節(jié)點(diǎn)擴(kuò)張速度來看,可能遠(yuǎn)超。Storj 主要對(duì)標(biāo)亞馬遜 S3 存儲(chǔ)平臺(tái),整合利用閑置資源輸出為標(biāo)準(zhǔn)統(tǒng)一的產(chǎn)品,用普通PC即可挖礦,對(duì)于C端存儲(chǔ)提供者相對(duì)友好,因而其節(jié)點(diǎn)和存儲(chǔ)數(shù)量上升較快。Storj的存儲(chǔ)價(jià)格比較有競(jìng)爭(zhēng)力,是其對(duì)標(biāo)平臺(tái)的一半左右。整體來看Storj是分散式存儲(chǔ)商業(yè)開發(fā)的一種可行方式。

Storj有一個(gè)小小缺陷,來自它使用的衛(wèi)星節(jié)點(diǎn),使得整個(gè)平臺(tái)的去中心化程度不夠。盡管Storj解釋稱,衛(wèi)星節(jié)點(diǎn)其實(shí)是服務(wù)器集群,但是仍舊引發(fā)市場(chǎng)對(duì)節(jié)點(diǎn)損壞可能帶來數(shù)據(jù)損失的擔(dān)憂,且相對(duì)中心化的存儲(chǔ)平臺(tái)對(duì)流量產(chǎn)生一定限制,可能帶來數(shù)據(jù)上傳的瓶頸。

圖6: Storj白皮書上關(guān)于衛(wèi)星節(jié)點(diǎn)描述的圖

MEMO的商業(yè)價(jià)值

Memo從帶寬流量、數(shù)據(jù)安全與使用成本三個(gè)角度進(jìn)行技術(shù)研發(fā),主要是設(shè)計(jì)了數(shù)據(jù)完整性驗(yàn)證方案,通過數(shù)據(jù)分片,生成驗(yàn)證標(biāo)簽,在讀取時(shí)進(jìn)行對(duì)照驗(yàn)證,可以實(shí)現(xiàn)快速驗(yàn)證,迅速在存儲(chǔ)節(jié)點(diǎn)轉(zhuǎn)發(fā)流量,提升了響應(yīng)速度,無(wú)需像Storj那樣經(jīng)過可信節(jié)點(diǎn)轉(zhuǎn)發(fā)。這樣可以降低成本,同時(shí)維持Memoriae的去中心化特征。另一方面,Memoriae獨(dú)有的數(shù)據(jù)恢復(fù)技術(shù)RAFI則保證了數(shù)據(jù)的快速修復(fù),這對(duì)于提升用戶體驗(yàn),達(dá)成交易也有著重要的商業(yè)價(jià)值。

在未來的存儲(chǔ)市場(chǎng)中,企業(yè)數(shù)據(jù)將會(huì)占據(jù)存儲(chǔ)數(shù)據(jù)的絕大部分。除了結(jié)構(gòu)化數(shù)據(jù)因其重要性和數(shù)據(jù)體量較小,使用集中式存儲(chǔ)經(jīng)濟(jì)上和技術(shù)上比較合理,其余數(shù)據(jù)理論上均可以使用分散式進(jìn)行存儲(chǔ)。MemoLab本身也在致力于與多方開展合作,構(gòu)建并完善MEMO生態(tài),例如構(gòu)建金融專屬分散式云存儲(chǔ)平臺(tái)、醫(yī)療大數(shù)據(jù)底層服務(wù)平臺(tái)、能源勘探數(shù)據(jù)的備份與歸檔和工業(yè)物聯(lián)網(wǎng)等。其余企業(yè)級(jí)的賽道也包括短視頻、網(wǎng)游和社交媒體數(shù)據(jù)等。分散式存儲(chǔ)如能在響應(yīng)速度上獲取對(duì)中心化的分布式存儲(chǔ)的優(yōu)勢(shì),那么它在大量熱數(shù)據(jù)(如工業(yè)物聯(lián)網(wǎng)、網(wǎng)游和社交媒體等賽道產(chǎn)生的實(shí)時(shí)高頻數(shù)據(jù))的存儲(chǔ)市場(chǎng)上必然有迅速成長(zhǎng)的空間。

不過,在推進(jìn)B2B的合作伙伴構(gòu)建時(shí),分散式云存儲(chǔ)的倡議者也需要注意到,合作伙伴中應(yīng)該包括基于分散式的存儲(chǔ)技術(shù)上的數(shù)據(jù)分析及應(yīng)用開發(fā)方。MEMO在構(gòu)建生態(tài)時(shí),除了要選擇好應(yīng)用場(chǎng)景和賽道,還需要提升開源式分布系統(tǒng)與應(yīng)用開發(fā)者之間的合作。但是,在缺少一個(gè)中心化運(yùn)營(yíng)者推動(dòng)的情況下,開發(fā)者、系統(tǒng)本身以及存儲(chǔ)企業(yè)三者之間的關(guān)系,還需要在市場(chǎng)競(jìng)爭(zhēng)中繼續(xù)摸索。

最后需要關(guān)注的問題是監(jiān)管。除了分散式存儲(chǔ)帶來數(shù)據(jù)大范圍流動(dòng)這個(gè)敏感問題之外,發(fā)行代幣帶來的金融風(fēng)險(xiǎn)問題,也是區(qū)塊鏈監(jiān)管的問題之一。目前這兩個(gè)問題已有初步的解決方案,即建立“主權(quán)區(qū)塊鏈”,增加了國(guó)家主權(quán)、政府監(jiān)督、技術(shù)干預(yù)、非完全去中心化等注入有主權(quán)意志的特性。具體的做法是依據(jù)上述特性所制定的規(guī)則,嵌入?yún)^(qū)塊鏈的共識(shí)機(jī)制當(dāng)中。需要注意的是這一個(gè)市場(chǎng)和監(jiān)管博弈的過程,要達(dá)到監(jiān)管穩(wěn)定需要一段漫長(zhǎng)的時(shí)間。

存儲(chǔ)市場(chǎng)未來的發(fā)展空間將會(huì)極其廣闊。以區(qū)塊鏈為底層技術(shù)的分散式存儲(chǔ)開辟了一條新的存儲(chǔ)路徑,它在這個(gè)市場(chǎng)中必然會(huì)獲得屬于自己的市場(chǎng)份額。盡管現(xiàn)在各種分散式存儲(chǔ)技術(shù)粉墨登場(chǎng),但還沒有能夠獲得市場(chǎng)的檢驗(yàn)。理論上看,MEMO能夠克服當(dāng)前分散式存儲(chǔ)技術(shù)的一些痛點(diǎn),但它能否繼續(xù)迭代和在市場(chǎng)上立腳,有賴于它能否推動(dòng)有效的市場(chǎng)實(shí)踐。在這種情況下,它的技術(shù)是否更加符合商業(yè)邏輯,它的合作伙伴是否能夠開發(fā)出更加符合市場(chǎng)需求的應(yīng)用,將決定它最終是否成為分散式存儲(chǔ)市場(chǎng)的先驅(qū)和中堅(jiān)力量。

不論如何,市場(chǎng)大門在緩緩打開,新的風(fēng)口來臨,最早的布局者將面臨著讓人激動(dòng)不已的世界。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）