2023年8月23日-25日,全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)(CCF HPC China 2023)在青島舉辦。 在本屆大會(huì)上,華為自研企業(yè)級(jí)超大規(guī)模集群分布式管理軟件-多瑙調(diào)度器憑借其高效調(diào)度能力、多樣性算力支持和極簡(jiǎn)管理的先進(jìn)性和創(chuàng)新性,榮獲中國(guó)計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專業(yè)委員會(huì)頒發(fā)的技術(shù)創(chuàng)新獎(jiǎng)。
高性能計(jì)算正在從高精尖科研創(chuàng)新領(lǐng)域走向千行百業(yè)。2022年,華為正式發(fā)布了鯤鵬高性能計(jì)算解決方案(鯤鵬HPC解決方案),該方案基于鯤鵬全棧(含硬件、基礎(chǔ)軟件、應(yīng)用優(yōu)化等),通過(guò)硬件開(kāi)放和軟件開(kāi)源,打造高性能、高算力的整機(jī)產(chǎn)品和完整的高性能計(jì)算基礎(chǔ)軟件棧。多瑙套件(含多瑙管理平臺(tái)和多瑙調(diào)度器)是鯤鵬HPC解決方案的核心軟件,多瑙調(diào)度器支持百萬(wàn)核超大規(guī)模調(diào)度和異構(gòu)多集群統(tǒng)一管理,大幅提升集群管理效率和多核作業(yè)調(diào)度能力。
調(diào)度器作為集群計(jì)算的大腦,主要負(fù)責(zé)為任務(wù)分配相應(yīng)的系統(tǒng)資源。好的調(diào)度器可以充分發(fā)揮集群資源的有效算力,為用戶帶來(lái)極致的性價(jià)比;反之則會(huì)導(dǎo)致嚴(yán)重的資源浪費(fèi),甚至是集群癱瘓。
華為自研企業(yè)級(jí)超大規(guī)模集群分布式管理軟件-多瑙調(diào)度器,支持融合應(yīng)用跨多樣性算力資源的統(tǒng)一調(diào)度和管理,實(shí)現(xiàn)大規(guī)模、高資源利用效率、高調(diào)度性能,為多樣性計(jì)算集群提供應(yīng)用和資源的最佳匹配。多瑙調(diào)度器基于前沿的架構(gòu)設(shè)計(jì)理念進(jìn)行設(shè)計(jì)開(kāi)發(fā),橫向支持HPC、AI、大數(shù)據(jù)多場(chǎng)景統(tǒng)一調(diào)度;縱向支持應(yīng)用、算力、存儲(chǔ)、網(wǎng)絡(luò)、能耗深度感知和多維度智能調(diào)度;跨數(shù)據(jù)中心支持?jǐn)?shù)據(jù)中心間資源協(xié)同,全局調(diào)度,并具備以下三大先進(jìn)性和創(chuàng)新性:
●高效調(diào)度:通過(guò)自研多線程事件引擎、IO技術(shù)優(yōu)化,支持單集群1萬(wàn)節(jié)點(diǎn)/百萬(wàn)核資源調(diào)度,資源利用率90%+,吞吐量超過(guò)400萬(wàn)/小時(shí);通過(guò)啟動(dòng)作業(yè)多級(jí)樹(shù)狀分發(fā)關(guān)鍵技術(shù)創(chuàng)新,支持40萬(wàn)RANK MPI作業(yè)調(diào)度啟動(dòng)。
●多樣性支持:通過(guò)節(jié)點(diǎn)標(biāo)簽、資源模型抽象統(tǒng)一技術(shù),支持鯤鵬/x86/GPU多樣性算力混合部署;通過(guò)架構(gòu)分層、接口適配,以不侵入修改三方集群方式支持異構(gòu)多集群統(tǒng)一管理,實(shí)現(xiàn)資源統(tǒng)籌規(guī)劃和高效利用。
●極簡(jiǎn)管理:集成應(yīng)用、監(jiān)控、報(bào)表、計(jì)費(fèi)四大中心功能,通過(guò)Web界面可視化管理集群,管理效率提升30%;提供設(shè)計(jì)計(jì)算一體化集成能力,數(shù)據(jù)不出湖,端到端保障數(shù)據(jù)安全。
多瑙度器一經(jīng)推出,受到了廣大客戶的青睞,目前已經(jīng)在教育科研、制造、氣象、生命科學(xué)、高能物理、材料化學(xué)等各個(gè)行業(yè)應(yīng)用,幫助客戶打造性能更佳、成本更優(yōu)、效率更高的高性能計(jì)算基礎(chǔ)設(shè)施“底座”提供重要支撐,為高性能計(jì)算用戶提供更容易落地的產(chǎn)品和解決方案,加速構(gòu)建創(chuàng)新發(fā)展格局。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )