近日,中國聯(lián)通基于華為OceanStor存儲Pacific系列的大數(shù)據(jù)平臺正式上線,標志著中國聯(lián)通和華為技術(shù)有限公司在大數(shù)據(jù)計算存儲分離架構(gòu)的規(guī)模化技術(shù)創(chuàng)新方面取得了全面突破。
業(yè)務挑戰(zhàn)
中國聯(lián)通已經(jīng)構(gòu)建了全球電信行業(yè)技術(shù)和規(guī)模雙領(lǐng)先的集中一體化大數(shù)據(jù)平臺,當前正在推進數(shù)據(jù)中臺戰(zhàn)略,實現(xiàn)全域數(shù)據(jù)共享,跨源跨域融合分析,快速釋放數(shù)據(jù)價值。
數(shù)據(jù)中臺建設對于數(shù)據(jù)基礎(chǔ)設施提出了新的挑戰(zhàn):
· 需要能夠靈活調(diào)度的數(shù)據(jù)基礎(chǔ)設施,計算、存儲資源分別池化,統(tǒng)一的存儲底座,和多樣的計算引擎,能夠基于業(yè)務需求快速調(diào)度,支持業(yè)務快速創(chuàng)新;
· 更低的存儲成本,5G時代,運營商數(shù)據(jù)量預計將增長5倍以上,在當前提速降費的大環(huán)境下,需要更高效的利用存儲資源,節(jié)省CAPEX和OPEX投資;
· 數(shù)據(jù)共享,數(shù)據(jù)內(nèi)容越來越多樣化,為了避免數(shù)據(jù)孤島,支撐BOME四域數(shù)據(jù)融合分析,非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲已成為數(shù)據(jù)基礎(chǔ)設施的新標準;
· 數(shù)據(jù)可靠性,數(shù)據(jù)分析能夠支撐企業(yè)提升用戶體驗,找到新的商業(yè)機會,正在從邊緣業(yè)務走向核心系統(tǒng),作為其基礎(chǔ)設施,需能夠容忍多節(jié)點同時故障,支持亞健康檢測、故障快速修復,有效拉長維護周期。保證系統(tǒng)高可用的前提下,降低海量數(shù)據(jù)的維護復雜度。
解決方案
2019年3月,中國聯(lián)通集團信息化部數(shù)據(jù)中心與華為公司成立聯(lián)合工作組,共同推進大數(shù)據(jù)系統(tǒng)集約化建設和國產(chǎn)化技術(shù)創(chuàng)新。
基于大數(shù)據(jù)存算分離技術(shù)的運營支撐平臺整體架構(gòu)如下:
華為大數(shù)據(jù)存算分離方案創(chuàng)新性的在存儲層實現(xiàn)了原生的HDFS的語義,打破了傳統(tǒng)大數(shù)據(jù)平臺計算存儲緊耦合的部署架構(gòu),不僅實現(xiàn)大數(shù)據(jù)平臺建設成本的大幅降低,而且通過存儲層全分布式架構(gòu)和協(xié)議融合互通的能力,提升數(shù)據(jù)分析效率,完全滿足中國聯(lián)通對于大數(shù)據(jù)平臺的期望和要求。
華為大數(shù)據(jù)存算分離方案創(chuàng)新點:
√ 計算存儲分離,按需擴展
在存儲層構(gòu)建了原生HDFS能力,將存儲從服務器本地盤剝離,形成計算和存儲完全分離的方案,既滿足業(yè)務彈性擴展需求,又避免資源浪費,為統(tǒng)一的大數(shù)據(jù)分析平臺打下技術(shù)基礎(chǔ)。
√ 大比例EC算法,提高存儲資源利用率
在大數(shù)據(jù)存算分離方案中,采用存儲層成熟的EC技術(shù),替代Hadoop的多副本,存儲資源利用率提升到91.6%,同樣的數(shù)據(jù)量,機柜數(shù)下降45%,大幅節(jié)省了運維成本。
√ 全分布式NameNode,海量數(shù)據(jù)統(tǒng)一管理
采用存儲層提供的全分布式的NameNode架構(gòu),每個節(jié)點既是數(shù)據(jù)存儲節(jié)點,也是元數(shù)據(jù)管理節(jié)點,單個NameSpace能夠支撐百億文件的存儲,為大數(shù)據(jù)平臺提供堅實的數(shù)據(jù)存儲底座,很好的支撐了集團的數(shù)據(jù)中臺戰(zhàn)略。
√ 原生HDFS,新老共存,保護投資
在大數(shù)據(jù)存儲層構(gòu)建了HDFS的納管功能——元數(shù)據(jù)網(wǎng)關(guān),通過納管現(xiàn)網(wǎng)已經(jīng)部署的HDFS,實現(xiàn)了應用層數(shù)據(jù)訪問的統(tǒng)一入口,且支持優(yōu)先寫入存儲層HDFS、基于配置選擇寫入HDFS、負載均衡寫入HDFS等多種寫入策略,真正做到了業(yè)務無感知的平滑演進。
√ 企業(yè)級存儲數(shù)據(jù)保護技術(shù),提升可靠性
在存儲層,采用多故障域技術(shù),每個故障域都允許4個節(jié)點同時故障,上百個存儲節(jié)點集群,即能夠容忍12個節(jié)點同時故障,極大的延長了維護周期。當出現(xiàn)硬盤或節(jié)點故障時,存儲層提供遠高于傳統(tǒng)Hadoop的數(shù)據(jù)重構(gòu)速度,將故障修復時間從天級縮減至小時級,進一步加強數(shù)據(jù)層的可靠性。
由于是新技術(shù),中國聯(lián)通聯(lián)合華為制定了非常全面的測試計劃,同時搭建了存算一體和存算分離兩套測試環(huán)境,采用現(xiàn)網(wǎng)脫敏的真實業(yè)務數(shù)據(jù),通過鏡像對比,從功能、性能、可靠性、可擴展性等多個維度,論證方案的可行性和價值。經(jīng)過數(shù)個月的聯(lián)合測試,測試結(jié)果得到中國聯(lián)通集團信息化部數(shù)據(jù)中心的認可,最終促成中國聯(lián)通對于華為OceanStor存儲Pacific系列的規(guī)?;少彙?/p>
客戶價值
目前,基于存算分離技術(shù)建設的運營支撐平臺已正式上線,已經(jīng)承載了互聯(lián)網(wǎng)分析、IoT、日志等系統(tǒng)15PB的數(shù)據(jù)量,實現(xiàn)了聯(lián)通各省公司2/3/4/5G xDR、網(wǎng)絡信令、互聯(lián)網(wǎng)日志、IoT等數(shù)據(jù)的接入分析,日導入數(shù)據(jù)量超過70TB。
存算分離方案給中國聯(lián)通帶來如下顯著價值:
1) 節(jié)省成本:大幅降低采購和運維成本,總TCO降低30%,節(jié)省千萬以上投資;
2) 運營效率提升:該項目投入運營后,分析效率提升20%,每年將帶來千萬以上的收入增長。
3) 提升可靠性:存儲層通過多故障域、快速重構(gòu)、亞健康檢測等技術(shù),可靠性提升30倍以上。
展望未來
未來,華為將持續(xù)為中國聯(lián)通數(shù)據(jù)基礎(chǔ)設施創(chuàng)新注入動力,結(jié)合華為OceanStor存儲Pacific系列的多協(xié)議融合互通的能力和開放的數(shù)據(jù)分析生態(tài),實現(xiàn)BOM多域的數(shù)據(jù)融合,突破生產(chǎn)系統(tǒng)和分析系統(tǒng)之間的壁壘,建設統(tǒng)一的數(shù)據(jù)存儲底座,降低數(shù)據(jù)的存儲成本,加速數(shù)據(jù)流動;在無狀態(tài)的計算基礎(chǔ)上,引入更加多樣的計算引擎,如BI、深度學習、圖計算、時空分析等新興引擎,快速推陳出新,支撐應用系統(tǒng)快速創(chuàng)新。通過持續(xù)創(chuàng)新,共同打造存得下、流得動、管得好的數(shù)據(jù)基礎(chǔ)設施,釋放海量數(shù)據(jù)的價值。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 長江存儲發(fā)布聲明:從無“借殼上市”意愿
- 泛微·數(shù)智大腦Xiaoe.AI正式發(fā)布,千人現(xiàn)場體驗數(shù)智化運營場景
- IDC:2024年第三季度北美IT分銷商收入增長至202億美元
- AI成為雙刃劍!凱捷調(diào)查:97%組織遭遇過GenAI漏洞攻擊
- openEuler開源五年樹立新里程碑,累計裝機量突破1000萬
- 創(chuàng)想 華彩新程!2024柯尼卡美能達媒體溝通會煥新增長之道
- 操作系統(tǒng)大會2024即將在京召開,見證openEuler發(fā)展新里程
- Gartner:AI引領(lǐng)歐洲IT支出激增,2025年將支出1.28萬億美元
- IDC:中國數(shù)字化轉(zhuǎn)型支出五年復合增長率約為15.6% 高于全球整體增速
- 2028年中國數(shù)字化轉(zhuǎn)型總體市場規(guī)模將超7300億美元
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。