2021年是中國十四五計劃的開局之年,在《中共中央關于制定國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和二〇三五年遠景目標的建議》中明確提出:“要推進數(shù)據(jù)要素市場化改革、加快數(shù)字化發(fā)展”,從而將數(shù)據(jù)要素提升到一個全新的戰(zhàn)略地位。

如何激活數(shù)據(jù)要素潛能,推進網(wǎng)絡強國建設,加快建設數(shù)字經(jīng)濟、數(shù)字社會、數(shù)字政府,以數(shù)字化轉型整體驅動生產(chǎn)方式、生活方式和治理方式變革,是數(shù)字中國最為艱巨的任務。而推動數(shù)據(jù)要素價值轉換自然離不開云原生數(shù)據(jù)基礎設施的支持。其中,以存算分離、支持多協(xié)議的彈性文件存儲、高效的近數(shù)據(jù)計算技術為代表,新技術應用將助力不同行業(yè)企業(yè)用戶最大程度釋放數(shù)據(jù)價值。

存算分離釋放無盡算力

大數(shù)據(jù)技術最初的形式是計算和存儲捆綁,強調的就是數(shù)據(jù)貼近計算,技術核心是HDFS+MapReduce數(shù)據(jù)管理方式,如今,大數(shù)據(jù)技術有了進一步發(fā)布,從計算和存儲捆綁走向了存算分離設計,從而讓Hive、HBase等大數(shù)據(jù)應用迎來新的發(fā)展契機。

以華為云Big Data Pro大數(shù)據(jù)離線分析解決方案為例,計算、存儲單獨擴容,因此會減少不必要的資源浪費。華為云Big Data Pro通過存儲無感擴容,可消除預留容量浪費,多種協(xié)議支持也減少數(shù)據(jù)多次復制的現(xiàn)象。存算分離,分布式存儲跨可用區(qū)容災,使得數(shù)據(jù)持久度高達12個9,數(shù)據(jù)可靠性更有保障。

從數(shù)據(jù)貼近計算到如今存算分離,這種截然相反的變化,大家是不是也會感到奇怪呢?劇情“反轉”背后的主要原因是什么?

或者說,存算分離還能夠滿足近數(shù)據(jù)計算的要求嗎?

為此,我也詢問了華為云文件存儲服務總經(jīng)理崔林威。

崔林威表示:存算分離仍然能夠滿足類似近數(shù)據(jù)計算的需求,其中很重要的原因是網(wǎng)絡技術突飛猛進的發(fā)展,這同時也為存算分離提供了基礎。不論是近數(shù)據(jù)計算,還是存算分離并不改變上層HDFS+MapReduce的結構。相比傳統(tǒng)方式,華為云BigData Pro在計算存儲分離基礎上,提供了多協(xié)議互通、高可靠等優(yōu)勢。

多協(xié)議彈性文件存儲沖破傳統(tǒng)協(xié)議局限

SFS(Scalable File Service)是一種彈性文件服務,不僅可以提供大數(shù)據(jù)、文件接口,例如與云內的MRS、DLI等數(shù)據(jù)分析服務提供存儲服務,也可以通過NFS/CIFS協(xié)議或者POSIX客戶端為云內部署的視頻編輯、基因分析、油藏模擬、設計仿真等軟件提供數(shù)據(jù)。

“可以把數(shù)據(jù)理解為一瓶礦泉水,跨協(xié)議訪問就可以理解為多幾根吸管兒。” 崔林威說。

SFS是業(yè)界首個支持NFS/CIFS/對象/大數(shù)據(jù)等多協(xié)議接口的存儲服務,是一種高性能文件存儲(NAS),為基因分析、視頻制作/渲染、地球物理、文件共享、內容和Web服務等業(yè)務場景提供共享數(shù)據(jù)訪問存儲服務。SFS沖破傳統(tǒng)NAS只有私有數(shù)據(jù)存儲協(xié)議的局限。

例如在視頻制作/渲染場景中,華為云與芒果TV探索出了一條更低成本、更實用的制播方案,打造出業(yè)界首個基于云服務打造的4K綜藝節(jié)目——“乘風破浪的姐姐”第二季。

借助SFS混合云解決方案能夠兼容對象接口特性,直接將拍攝視頻通過對象存儲上傳到華為云,在云上通過文件接口對視頻進行轉碼、合成、調色、渲染等系列處理后,直接分發(fā)到對應播放平臺進行播放。節(jié)目制作時間縮短了50%,按需付費的云上資源,相對于自建IT系統(tǒng),節(jié)省了90%的初始投資。作為電視機前的觀眾,可以看到姐姐們清晰的服裝細節(jié)和每一根睫毛,讓電影的質感得以在周期要求高、成本管控嚴的綜藝節(jié)目中呈現(xiàn)。

近數(shù)據(jù)計算有效縮短數(shù)據(jù)處理時間

華為面向公有云用戶提供數(shù)據(jù)工坊(Data Workroom)近數(shù)據(jù)處理服務,可將圖像水印、圖像轉碼、視頻轉碼、內容審核、火點發(fā)現(xiàn)等數(shù)據(jù)處理業(yè)務,通過數(shù)據(jù)處理算子市場或者數(shù)據(jù)處理工作流編排實現(xiàn)近似流水線的操作,如此可大大縮短互聯(lián)網(wǎng)客戶業(yè)務開發(fā)周期,通過簡單的托拉拽即可,也降低了開發(fā)/運維難度,效率提升90%。

如今,數(shù)據(jù)工坊開放算子庫中有大量高質量的華為自營算子,也有海量第三方算子,無論是進行圖片轉碼還是視頻截幀,你都能輕松找到適用的算子來完成數(shù)據(jù)處理工作流。 通過算子下推技術,在近數(shù)據(jù)的地方進行數(shù)據(jù)處理,省去數(shù)據(jù)在存儲與計算直接的傳遞,數(shù)據(jù)處理時間縮短50%。

小結

我們即將迎來數(shù)據(jù)4.0時代,更進一步推動數(shù)字經(jīng)濟發(fā)展,其特點是從物聯(lián)網(wǎng)時代的物產(chǎn)生數(shù)據(jù)升級為將人腦構想、世界里大多并不存在的虛擬空間構成數(shù)據(jù),映射到信息空間,數(shù)據(jù)存儲需求將噴涌而出,作為全新的數(shù)據(jù)載體,云原生數(shù)據(jù)基礎設施將緊隨時代發(fā)展作出反應變化,在算力、彈性存儲為關鍵指標的元宇宙時代,期待華為云的精彩表現(xiàn)!

（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）