構(gòu)建高性能計(jì)算HPC(High Performance Computing)機(jī)群可提升業(yè)務(wù)的運(yùn)算速度(使其達(dá)到每秒萬億次級的計(jì)算速度)，因此HPC被應(yīng)用于解決大規(guī)?？茖W(xué)問題的計(jì)算和海量數(shù)據(jù)的處理，其中就包括科學(xué)研究、氣象預(yù)報(bào)、計(jì)算模擬、軍事研究、CFD/CAE、生物制藥、基因測序、圖像處理等。在HPC場景下，使用關(guān)鍵技術(shù)優(yōu)化混合負(fù)載沖突，全方位釋放存儲性能成了巨大的挑戰(zhàn)。

目前HPC應(yīng)用正從過去的傳統(tǒng)科研領(lǐng)域計(jì)算密集型，逐漸向新興的大數(shù)據(jù)、人工智能以及深度學(xué)習(xí)等方向進(jìn)行融合和演進(jìn)。繼而，數(shù)字時代無論是智能制造、智慧醫(yī)療、智慧城市、智能家居，HPC都將成為核心技術(shù)。特別是近兩年備受關(guān)注的人工智能領(lǐng)域，如自動駕駛汽車、無人機(jī)、人臉識別、醫(yī)療診斷以及金融分析和商業(yè)決策等，其核心是大數(shù)據(jù)支持，HPC成為人工智能模型訓(xùn)練的重要支撐平臺。

HPC通過極快的處理速度，獲取大量數(shù)據(jù)進(jìn)行復(fù)雜的運(yùn)算，實(shí)現(xiàn)數(shù)據(jù)即時分析，達(dá)到快速決策的目標(biāo)。因此，HPC機(jī)群對于存儲有著較高的性能要求，保證來自多個HPC服務(wù)器密集而多樣的分析行為。

同時，由于未分析的原始數(shù)據(jù)會越積越多，并且未來還會有更多的數(shù)據(jù)需要研究/處理，因此容量和擴(kuò)展性也是重要的考慮因素。HPC的總體數(shù)據(jù)最終會達(dá)到PB級別，需要超大的存儲容量才能完成歸檔。

在HPC應(yīng)用環(huán)境下，業(yè)務(wù)軟件眾多(其中運(yùn)行的應(yīng)用算例各不相同)，從而導(dǎo)致不同的業(yè)務(wù)對I/O負(fù)載要求不同，其中包括帶寬型、IPOS型、元數(shù)據(jù)OPS密集型、及基于MPI框架的應(yīng)用需要并行訪問同一個文件的并行I/O等。例如，在新興的AI場景中會牽涉到預(yù)處理階段、訓(xùn)練階段和仿真等階段，都對帶寬及IOPS有著各不相同的高要求。

在傳統(tǒng)的油氣勘探典型場景中，假設(shè)需要同時滿足震資料處理和地震資料解釋兩種應(yīng)用場景對IO負(fù)載的不同要求，通常需要為其分別配置存儲A及存儲B，以滿足不同的IO負(fù)載性能。因此，在HPC應(yīng)用的場景下，滿足高帶寬、高IOPS及低時延的混合負(fù)載模型是HPC存儲面臨的巨大挑戰(zhàn)。

性能衡量標(biāo)準(zhǔn)

帶寬型業(yè)務(wù)的衡量標(biāo)準(zhǔn)(單位時間內(nèi)的數(shù)據(jù)總吞吐量)，主要特點(diǎn)有每個I/O大且處理次數(shù)少，單次I/O處理時間較長;IOPS型業(yè)務(wù)性能衡量標(biāo)準(zhǔn)(單位時間內(nèi)處理的總I/O請求，及每個I/O處理的時長)，主要特點(diǎn)是單位時間內(nèi)I/O請求頻度較高，I/O請求量大，且處理時間較短;使用同一個存儲設(shè)備，在混合負(fù)載的情況下主要沖突體現(xiàn)在：CPU調(diào)度策略，帶寬型業(yè)務(wù)與IOPS型業(yè)務(wù)呈現(xiàn)為相反的調(diào)度策略，傳統(tǒng)技術(shù)無法實(shí)現(xiàn)帶寬型業(yè)務(wù)與IOPS型業(yè)務(wù)計(jì)算性能的雙重保障。

軟件棧調(diào)度策略要求

混合負(fù)載下同樣存在軟件調(diào)用棧處理的邏輯沖突，物理性能瓶頸主要存在網(wǎng)絡(luò)帶寬、硬件帶寬及內(nèi)存帶寬上。要想減少性能瓶頸就要通過減少網(wǎng)絡(luò)轉(zhuǎn)發(fā)、減少內(nèi)存訪問實(shí)現(xiàn)、降低數(shù)據(jù)冗余。繼而與IOPS型業(yè)務(wù)產(chǎn)生沖突，在IOPS的應(yīng)用場景下，性能瓶頸主要集中在CPU算力及軟件調(diào)用棧深度，需要通過降低I/O請求的放大量，從而降低軟件調(diào)用棧的深度。因此，在同一設(shè)備中，既要保障帶寬型業(yè)務(wù)場景的處理性能，又要確保IOPS型業(yè)務(wù)場景性能，給存儲系統(tǒng)的處理邏輯帶來了巨大的挑戰(zhàn)。

介質(zhì)訪問模型

另外針對不同的業(yè)務(wù)類型，最佳的訪問模型也各不相同。要求I/O越大，通過磁頭、柱面和扇區(qū)組成的(3D參數(shù))使得磁盤LBA連續(xù)度越高，則帶寬型業(yè)務(wù)的性能越高。然而，針對IOPS場景，I/O的大小與磁盤管理的顆粒度越匹配，則性能越高。因此，在混合負(fù)載下，主要問題體現(xiàn)在，數(shù)據(jù)布局如何兼顧I/O不同需求。

柏科數(shù)據(jù)ISCould分布式存儲可采用多維度創(chuàng)新信息技術(shù)來解決HPC場景下混合負(fù)載沖突帶寬機(jī)IOPS業(yè)務(wù)共存問題，分別通過一系列關(guān)鍵技術(shù)實(shí)現(xiàn)極致帶寬性能及IOPS性能。

混合負(fù)載性能雙優(yōu)化

通過I/O直通存儲技術(shù)將前端應(yīng)用寫入的大I/O直通存儲到節(jié)點(diǎn)的存儲層，以減少網(wǎng)絡(luò)帶寬、硬件帶寬及內(nèi)存帶寬的帶寬放大問題。小I/O則通過RDMA直接內(nèi)存訪問技術(shù)，將分散在其他存儲節(jié)點(diǎn)小I/O進(jìn)行聚合存儲，隨即寫入到非易失性高速存儲介質(zhì)，可進(jìn)一步降低CPU的消耗。既保證了帶寬型業(yè)務(wù)中帶寬問題，又提升了IOPS的性能。同時采用，分布式糾刪技術(shù)，對元數(shù)據(jù)節(jié)點(diǎn)進(jìn)行存儲，可通過糾刪碼算法將原始數(shù)據(jù)進(jìn)行編碼，不僅保障了數(shù)據(jù)安全性，同時實(shí)現(xiàn)存儲空間高可用。

軟件棧智能調(diào)度

為了進(jìn)一步實(shí)現(xiàn)混合負(fù)載下的最佳性能，通過CPU智能分組算法及全方位QoS管理技術(shù)，來實(shí)現(xiàn)自適I/O大小的軟件棧調(diào)用能力。軟件棧智能調(diào)度是通過大小I/O的特點(diǎn)，通過CPU動態(tài)分組技術(shù)，實(shí)現(xiàn)CPU自動歸屬應(yīng)用，為不同要求的I/O實(shí)行專核專用的策略，保障關(guān)鍵業(yè)務(wù)運(yùn)行及IOPS業(yè)務(wù)快速響應(yīng)。同時，ISCould分布式存儲可智能識別IOPS優(yōu)先級別，采用全方位QoS管理技術(shù)，確保前臺優(yōu)于后臺的機(jī)制。充分實(shí)現(xiàn)混合負(fù)載下的極致低時延。

智能處理策略

目前磁盤管理通常采用Write in place的管理方式，這種管理方式在長時間的運(yùn)行之后，由于數(shù)據(jù)及部分文件反復(fù)創(chuàng)建、重刪，會導(dǎo)致傳統(tǒng)數(shù)據(jù)碎片化嚴(yán)重。大I/O寫入會被拆解成多個小I/O，使得磁盤LBA連續(xù)度越低。通過兩次智能處理策略，首先通過智能數(shù)據(jù)處理技術(shù)，可將數(shù)據(jù)寫入連續(xù)的磁盤空間中，將無效數(shù)據(jù)在后臺進(jìn)行垃圾回收。在通過對象組智能平衡技術(shù)，對磁盤進(jìn)行實(shí)時監(jiān)控 、動態(tài)計(jì)算， 自動調(diào)整磁盤空間。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）