摘要:不同于上世紀計算機的向下平民化,這次 HPC 向上擁抱更為復(fù)雜的業(yè)務(wù)負載。
世界上第一臺計算機叫什么?很多人可以不假思索地回答——“埃尼阿克” (ENIAC)。
那么,“埃尼阿克” 最初被用來干什么呢?少有人知道,1946年,“埃尼阿克” 是為了解決彈道計算問題而生,賓夕法尼亞大學(xué)花費40萬美元巨資才研制出“埃尼阿克” ,當時的計算機是一種戰(zhàn)略物資。
在很長一段時間后,個人PC的普及才讓計算機逐漸進入大眾視野,IBM和Apple都是第一代家用電腦廠商,而計算機作為戰(zhàn)略物資的屬性以另一種名字保留了下來,也就是 HPC (High Performance Computing,高性能計算)。
HPC成為計算機科學(xué)的一個分支,使用超級計算機和并行處理技術(shù)解決復(fù)雜計算問題,主要瞄準大規(guī)模科學(xué)問題的計算和海量數(shù)據(jù)的處理,如科學(xué)研究、氣象預(yù)報、計算模擬、CFD/CAE、生物制藥、基因測序、圖像處理等等。每年的全球HPC Top 500高性能計算機排行榜都備受矚目。
近年來,大數(shù)據(jù)和AI等新興應(yīng)用催生 HPC 發(fā)生另一種變化,不同于上世紀計算機的向下平民化, HPC 向上擁抱更為復(fù)雜的業(yè)務(wù)負載,使得傳統(tǒng)HPC開始向 HPDA (High Performance Data Analytics)方向演進。
華為常務(wù)董事、ICT產(chǎn)品與解決方案總裁汪濤
在2021年華為全聯(lián)接大會上,華為常務(wù)董事、ICT產(chǎn)品與解決方案總裁汪濤介紹了數(shù)字基礎(chǔ)設(shè)施七大創(chuàng)新與客戶實踐,其中業(yè)界首個面向HPDA的分布式存儲OceanStor Pacific引起熱議,何謂高性能數(shù)據(jù)分析HPDA,HPDA又需要什么樣的分布式存儲?不妨一觀。
HPDA:從數(shù)據(jù)中攫取價值
我們手中智能手機的算力,遠超NASA在1969年登月計劃中最先進計算機的算力,但相較于手機,HPC所要解決業(yè)務(wù)的復(fù)雜水平,也呈現(xiàn)指數(shù)級發(fā)展,一大變化就是數(shù)據(jù)的爆炸式增長,使得原有HPC架構(gòu)的存儲不堪其重。
傳統(tǒng)HPC主要從仿真物理模型中計算價值,需求是無與倫比的大算力,而HPDA泛指利用HPC資源的數(shù)據(jù)密集型負載,典型特點是數(shù)據(jù)量大、時效性強以及算法復(fù)雜,從數(shù)據(jù)本身提取價值,兩者業(yè)務(wù)邏輯不同,導(dǎo)致存儲需求不同。
例如地震勘探從二維向三維的演進中,數(shù)據(jù)量增加了5-10倍;電影渲染從2K升級到8K的革命中,數(shù)據(jù)量增長16倍;衛(wèi)星測繪領(lǐng)域,探測精準度由20米縮小到2米,數(shù)據(jù)量同比增長70倍。海量的數(shù)據(jù),需要高性能的存儲,這是HPC向HPDA演進要解決的根本性問題。
傳統(tǒng)HPC的存儲主要用來文件共享、Scratch和歸檔,AI業(yè)務(wù)負載則涉及到數(shù)據(jù)收集、輸入、清洗、訓(xùn)練、推理和歸檔一系列復(fù)雜操作,原有存儲系統(tǒng)并不是為這種存儲工作流程而設(shè)計的,自然也就無法很好滿足新存儲的需求。
在關(guān)鍵性能要求上,傳統(tǒng)HPC負載通?;陧樞虼驣/O型,AI業(yè)務(wù)負載需要順序大和隨機小I/O型的混合,用于AI訓(xùn)練的數(shù)據(jù)存取需要快速的隨機小I/O型。
應(yīng)用場景的變化催生了各種耐用性和彈性解決方案需求。例如歸檔需要極具高性價比的解決方案,沒有苛刻的性能要求;傳統(tǒng)的臨時應(yīng)用需要將臨時結(jié)果轉(zhuǎn)移到持久存儲,需要高性能以防止出現(xiàn)故障;HPDA 解決方案需要混合存儲需求同時滿足高性能、瞬態(tài)存儲和持久彈性存儲的不同要求。
此外,當存儲系統(tǒng)變得復(fù)雜化,內(nèi)部多種協(xié)議發(fā)展為另一種壁壘,不同數(shù)據(jù)采用不同的訪問方式,每種訪問方式都需要獨特的協(xié)議支持,橫亙在業(yè)務(wù)負載中消耗通信時間和計算資源。
據(jù)IDC統(tǒng)計,全球67%的高性能計算中心(HPC)已經(jīng)在使用AI、大數(shù)據(jù)相關(guān)技術(shù),HPC與AI、大數(shù)據(jù)加速融合,如何從海量數(shù)據(jù)中更高效、更經(jīng)濟地釋放更大的數(shù)據(jù)價值,成為迫切訴求,存儲系統(tǒng)的改變至關(guān)重要。
找尋HPDA存儲新的平衡點
HPDA推動了存儲架構(gòu)的改變,從而匹配新業(yè)務(wù)負載的同步、空間分布式計算和存儲需求,矛盾聚焦于不同 I/O 模型、支持多協(xié)議訪問、各種數(shù)據(jù)訪問頻率、高密度高效設(shè)計等方面,歸根究底是找尋存儲性能、成本和效率新的平衡點。
OceanStor Pacific存儲新品于2021華為全聯(lián)接發(fā)布
華為發(fā)布了Huawei OceanStor Pacific 9950、Huawei OceanStor Pacific 9550兩款新品,華為OceanStor Pacific系列高性能分布式存儲,就是為打破HPC產(chǎn)業(yè)三重壁壘量身打造的HPDA存儲系統(tǒng)。
第一重壁壘是高性能,HPC在不同流程階段面臨帶寬型、OPS型業(yè)務(wù)負載需求,HPDA場景下這一情況會更加常態(tài)化,傳統(tǒng)存儲僅支持單一負載模型,形成了性能孤島,使得流程間的數(shù)據(jù)需要在不同存儲間遷移,降低了整體流程效率。
華為技術(shù)專家夏飛博士介紹,華為OceanStor Pacific系列存儲搭載新一代分布式文件系統(tǒng),一套存儲即可實現(xiàn)2倍大文件高帶寬,5倍小文件高IOPS性能,大大提高性能水平,同時該文件系統(tǒng)也能支持多種業(yè)務(wù)負載,既能兼顧客戶原有的常規(guī)業(yè)務(wù),也能很好適配企業(yè)對大數(shù)據(jù)和AI等新業(yè)務(wù)的探索,實現(xiàn)面向混合負載的全場景加速。
第二重壁壘是多協(xié)議無損互通,在以自動駕駛為代表的HPDA場景中,不同的流程階段可能用到文件、大數(shù)據(jù)、對象多種服務(wù),如何實現(xiàn)流程的高效數(shù)據(jù)訪問成為用戶面臨的一大挑戰(zhàn)。
華為OceanStor Pacific系列存儲能夠匹配多樣化算力需求,一套系統(tǒng)支持多種協(xié)議,實現(xiàn)數(shù)據(jù)互通,減少中間環(huán)節(jié),并且資源統(tǒng)一管理和運維,支撐業(yè)務(wù)敏捷響應(yīng)。
第三重壁壘是大容量,隨著HPDA的快速發(fā)展,海量數(shù)據(jù)的價值被進一步挖掘,用戶愿意更長更久地保留數(shù)據(jù),這對機房空間、功耗、存儲成本都提出了新的挑戰(zhàn)。
基于這種挑戰(zhàn),華為OceanStor Pacific全新推出了系列化超高密硬件,支持不同硬件間的數(shù)據(jù)自動分級,單位空間容量提升20%,全面降低HPC場景的存儲成本。華為OceanStor Pacific系列高密大容量產(chǎn)品在5U空間里支持120個 3.5寸硬盤,通過高密實現(xiàn)60%以上的機柜空間節(jié)省,讓海量數(shù)據(jù)不再成為負擔(dān)。
越是基礎(chǔ)的,越是核心的
中石油東方物探正行進在通過HPDA挖掘數(shù)據(jù)價值的路上。
自19世紀40年代至今,人類為探尋石油和天然氣能源用上了最先進的理論和技術(shù),其中高性能計算必不可少,在油氣地震勘探數(shù)據(jù)采集、處理、解釋的三大環(huán)節(jié)中,都需要大量的高性能計算、海量數(shù)據(jù)分析等平臺,不同架構(gòu)和規(guī)模的數(shù)據(jù)存儲在不同系統(tǒng)部署,數(shù)據(jù)需要在和平臺之間頻繁傳輸拷貝,產(chǎn)生了額外的花銷和不必要的時間損耗。
中石油東方物探有限責(zé)任公司教授級高級工程師、數(shù)據(jù)中心原總工程師賴能和在會上講到,以中東某探區(qū)為例,3259平方公里三維地震勘探,190萬個激發(fā)、采集數(shù)據(jù)量1049TB。東方物探用了近12個月時間順利完成數(shù)據(jù)處理任務(wù)。據(jù)了解,這也是目前為止已完成的單體數(shù)據(jù)量最大的油氣地震勘探數(shù)據(jù)處理項目。
OceanStor Pacific存儲助力油氣勘探
要支持如此之大的數(shù)據(jù)處理,東方物探選擇了規(guī)?;胁渴鹑A為OceanStor Pacific存儲系統(tǒng),其天然適合HPDA的設(shè)計在勘探場景下最大化程度得到發(fā)揮,不僅解決油氣地震勘探不斷增長的海量數(shù)據(jù)對存儲容量的巨大需求的挑戰(zhàn),而且還可以保證存儲性能和容量的線性增長,同時簡化IT基礎(chǔ)設(shè)施的復(fù)雜度,又可減少IT日常運維的工作量。
“華為OceanStor Pacific存儲支持系統(tǒng)間遠程直接訪問、混合負載和多協(xié)議互通等功能,可大大減少數(shù)據(jù)拷貝時間和拷貝次數(shù);同時滿足大文件高并發(fā)、高帶寬、小文件高IOPS的性能平衡要求;可實現(xiàn)一套存儲同時供高性能計算、人機交互、資料解釋、數(shù)值模擬、人工智能等多個不同技術(shù)應(yīng)用平臺共享。存儲資源利用率提高30%以上;生產(chǎn)效率提升15%以上?!辟嚹芎脱a充道。
越是基礎(chǔ)的,越是核心的,不論是HPDA所要解決的問題,還是存儲技術(shù)的突破,都再次證明了這一論斷。
不止于油氣勘探,從基因測序到自動駕駛研發(fā),從天氣預(yù)報到生物制藥等等,這些場景要么是全新誕生的復(fù)雜業(yè)務(wù),要么是舊技術(shù)難以解決的老大難問題,他們存在一個共性——關(guān)乎國計民生,解決問題之道在于底層基礎(chǔ)技術(shù)的突破。
華為OceanStor Pacific存儲支持著最頂尖的科研項目,同時這些科研項目的成果又讓最廣泛的人群受益,天氣預(yù)報的及時預(yù)警,新藥的快速開發(fā),自動駕駛車輛的算法升級,存儲的升級換代成為數(shù)字基礎(chǔ)設(shè)施革命的必要因素,其帶來的結(jié)果變化一點點傳導(dǎo)到普羅大眾的感知。
(本文首發(fā)鈦媒體App,作者|張帥)
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 央國企采購管理升級,合合信息旗下啟信慧眼以科技破局難點
- Apache Struts重大漏洞被黑客利用,遠程代碼執(zhí)行風(fēng)險加劇
- Crunchbase:2024年AI網(wǎng)絡(luò)安全行業(yè)風(fēng)險投資超過26億美元
- 調(diào)查報告:AI與云重塑IT格局,77%的IT領(lǐng)導(dǎo)者視網(wǎng)絡(luò)安全為首要挑戰(zhàn)
- 長江存儲發(fā)布聲明:從無“借殼上市”意愿
- 泛微·數(shù)智大腦Xiaoe.AI正式發(fā)布,千人現(xiàn)場體驗數(shù)智化運營場景
- IDC:2024年第三季度北美IT分銷商收入增長至202億美元
- AI成為雙刃劍!凱捷調(diào)查:97%組織遭遇過GenAI漏洞攻擊
- openEuler開源五年樹立新里程碑,累計裝機量突破1000萬
- 創(chuàng)想 華彩新程!2024柯尼卡美能達媒體溝通會煥新增長之道
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。