優(yōu)化AI存儲(chǔ)不僅僅涉及選擇正確的硬件，它需要一種數(shù)據(jù)管理方法來(lái)成功處理大型語(yǔ)言模型(LLM)所需的大量數(shù)據(jù)。

通過將人工智能處理視為項(xiàng)目數(shù)據(jù)管道的一部分，企業(yè)可以確保其生成的人工智能模型得到有效訓(xùn)練，并且存儲(chǔ)選擇適合目的。通過強(qiáng)調(diào)人工智能數(shù)據(jù)存儲(chǔ)需求的重要性，企業(yè)可以確保他們的人工智能模型既有效又可擴(kuò)展。

與存儲(chǔ)需求相一致的AI數(shù)據(jù)管道階段

在人工智能數(shù)據(jù)管道中，各個(gè)階段與特定的存儲(chǔ)需求保持一致，以確保有效的數(shù)據(jù)處理和利用。以下是典型的階段及其相關(guān)的存儲(chǔ)需求：

數(shù)據(jù)收集和預(yù)處理：收集和集中原始數(shù)據(jù)的存儲(chǔ)，然后將其清理并轉(zhuǎn)換為準(zhǔn)備用于培訓(xùn)流程的策劃數(shù)據(jù)集。

模型訓(xùn)練和處理：將整理好的數(shù)據(jù)集輸入到GPU進(jìn)行處理的存儲(chǔ)。管道的這個(gè)階段還需要存儲(chǔ)訓(xùn)練工件，例如超參數(shù)、運(yùn)行指標(biāo)、驗(yàn)證數(shù)據(jù)、模型參數(shù)和最終生產(chǎn)推理模型。管道存儲(chǔ)要求將有所不同，具體取決于您是從頭開始開發(fā)LLM還是增強(qiáng)現(xiàn)有模型，例如再生增強(qiáng)生成(RAG)。

推理和模型部署：任務(wù)關(guān)鍵型存儲(chǔ)，用于托管訓(xùn)練模型，以便根據(jù)新數(shù)據(jù)進(jìn)行預(yù)測(cè)或決策。推理的輸出被應(yīng)用用來(lái)提供結(jié)果，通常嵌入到信息和自動(dòng)化流程中。

歸檔存儲(chǔ)：訓(xùn)練階段完成后，需要將各種工件（例如不同的訓(xùn)練數(shù)據(jù)集和不同版本的模型）與原始數(shù)據(jù)一起存儲(chǔ)。這通常是長(zhǎng)期保留，但模型數(shù)據(jù)仍然需要可用，以便提取與過去訓(xùn)練相關(guān)的特定項(xiàng)目。

云端與本地通常會(huì)影響所使用的存儲(chǔ)

啟動(dòng)人工智能項(xiàng)目之前的一個(gè)主要決定是，是在混合云設(shè)置中使用云資源、本地?cái)?shù)據(jù)中心資源，還是兩者兼而有之。

對(duì)于存儲(chǔ)，云提供各種類型和類別以匹配不同的管道階段，而內(nèi)部存儲(chǔ)通常有限，從而導(dǎo)致針對(duì)各種工作負(fù)載的通用解決方案。

最常見的混合管道劃分是在云端進(jìn)行訓(xùn)練，并在本地和邊緣進(jìn)行推理。

第一階段：數(shù)據(jù)收集和預(yù)處理的存儲(chǔ)要求

在數(shù)據(jù)收集過程中，大量原始非結(jié)構(gòu)化數(shù)據(jù)從遠(yuǎn)程數(shù)據(jù)中心和物聯(lián)網(wǎng)邊緣集中起來(lái)，需要較高的總體性能水平才能高效地傳輸數(shù)據(jù)。性能必須與互聯(lián)網(wǎng)速度相匹配，而互聯(lián)網(wǎng)速度并不是特別快，需要使用多個(gè)線程集體傳輸數(shù)TB的數(shù)據(jù)。

容量可擴(kuò)展性同樣重要，因?yàn)榇鎯?chǔ)解決方案必須能夠以經(jīng)濟(jì)高效的方式擴(kuò)展以適應(yīng)不斷增長(zhǎng)的數(shù)據(jù)集和不斷增加的計(jì)算需求。

平衡成本效率對(duì)于在預(yù)算范圍內(nèi)滿足這些擴(kuò)展和性能需求至關(guān)重要，確保解決方案在不花費(fèi)過多的情況下提供價(jià)值。此外，冗余對(duì)于通過可靠的備份和復(fù)制防止數(shù)據(jù)丟失至關(guān)重要。

安全性至關(guān)重要，它可以保護(hù)敏感數(shù)據(jù)免遭泄露，確保信息的完整性和保密性。最后，互操作性對(duì)于與現(xiàn)有系統(tǒng)的無(wú)縫集成必不可少，有助于跨各種平臺(tái)和技術(shù)實(shí)現(xiàn)順暢的數(shù)據(jù)流動(dòng)和管理。

用于數(shù)據(jù)收集和預(yù)處理的最普遍的存儲(chǔ)是高度冗余的云對(duì)象存儲(chǔ)。對(duì)象存儲(chǔ)旨在與互聯(lián)網(wǎng)良好交互以進(jìn)行數(shù)據(jù)收集，具有可擴(kuò)展性和成本效益。

為了保持大規(guī)模的成本效益，通常使用硬盤驅(qū)動(dòng)器(HDD)設(shè)備。然而，隨著這種存儲(chǔ)的交互越來(lái)越多，低成本固態(tài)硬盤(SSD)變得越來(lái)越重要。此階段最終會(huì)形成組織良好且經(jīng)過精心策劃的數(shù)據(jù)集。

第二A階段：有效LLM培訓(xùn)的存儲(chǔ)要求

為L(zhǎng)LMAI模型處理提供GPU所需的存儲(chǔ)必須滿足幾個(gè)關(guān)鍵要求。極致性能至關(guān)重要，需要高吞吐量和快速的讀寫速度來(lái)為GPU提供數(shù)據(jù)并維持其持續(xù)運(yùn)行。

GPU需要穩(wěn)定且快速的數(shù)據(jù)流，這凸顯了與其處理能力相匹配的存儲(chǔ)的重要性。工作負(fù)載必須管理訓(xùn)練期間頻繁生成的大量檢查點(diǎn)數(shù)據(jù)轉(zhuǎn)儲(chǔ)?？煽啃詫?duì)于防止訓(xùn)練中斷至關(guān)重要，因?yàn)槿魏瓮C(jī)或不一致都可能導(dǎo)致嚴(yán)重的整體管道延遲。

此外，用戶友好的界面也很重要，因?yàn)樗鼈兒?jiǎn)化和優(yōu)化管理任務(wù)，并允許數(shù)據(jù)科學(xué)家專注于人工智能模型開發(fā)而不是存儲(chǔ)管理。

大多數(shù)LLM都在云端進(jìn)行訓(xùn)練，利用大量GPU。精選數(shù)據(jù)集從云端的對(duì)象存儲(chǔ)復(fù)制到本地NVMeSSD，這提供了極高的數(shù)據(jù)GPU饋送性能，并且只需要極少的存儲(chǔ)管理。Azure等云提供商擁有自動(dòng)化流程來(lái)在本地復(fù)制和緩存這些數(shù)據(jù)。

然而，僅依靠本地存儲(chǔ)效率低下；SSD可能處于閑置狀態(tài)，數(shù)據(jù)集需要調(diào)整大小才能適應(yīng)，數(shù)據(jù)傳輸時(shí)間可能會(huì)妨礙GPU的使用。因此，公司正在探索在云端運(yùn)行的并行文件系統(tǒng)設(shè)計(jì)，以通過NVIDIA直接連接處理數(shù)據(jù)。

第二B階段：有效RAGS培訓(xùn)的存儲(chǔ)要求

在RAG訓(xùn)練期間，私有數(shù)據(jù)被集成到通用LLM模型中，以創(chuàng)建新的聚合模型。這種分散式方法使得LLM無(wú)需訪問組織的機(jī)密數(shù)據(jù)即可進(jìn)行訓(xùn)練。此類敏感數(shù)據(jù)的最佳存儲(chǔ)解決方案是可以隱藏個(gè)人身份信息(PII)數(shù)據(jù)的系統(tǒng)。

最近，人們已經(jīng)從集中所有數(shù)據(jù)轉(zhuǎn)變?yōu)樵谶h(yuǎn)程數(shù)據(jù)中心進(jìn)行現(xiàn)場(chǎng)管理，然后傳輸?shù)皆贫诉M(jìn)行處理。

另一種方法是使用云端分布式存儲(chǔ)系統(tǒng)將數(shù)據(jù)拉入云中。RAGS訓(xùn)練的有效存儲(chǔ)解決方案必須結(jié)合高性能和全面的數(shù)據(jù)編目功能。

采用高吞吐量存儲(chǔ)（例如基于SSD的分布式系統(tǒng)）來(lái)確保有足夠的帶寬將大型數(shù)據(jù)集提供給GPU至關(guān)重要。

此外，強(qiáng)大的安全措施（包括加密和訪問控制）對(duì)于在整個(gè)培訓(xùn)過程中保護(hù)敏感數(shù)據(jù)至關(guān)重要。

并行文件系統(tǒng)和傳統(tǒng)網(wǎng)絡(luò)附加存儲(chǔ)(NAS)之間預(yù)計(jì)將出現(xiàn)競(jìng)爭(zhēng)。NAS歷來(lái)是本地非結(jié)構(gòu)化數(shù)據(jù)的首選，許多本地?cái)?shù)據(jù)中心仍是如此。

第三階段：有效AI推理和模型部署的存儲(chǔ)要求

成功部署模型推理需要高速、關(guān)鍵任務(wù)存儲(chǔ)。高速存儲(chǔ)可以快速訪問和處理數(shù)據(jù)，最大限度地減少延遲并提高實(shí)時(shí)性能。

此外，性能可擴(kuò)展的存儲(chǔ)系統(tǒng)對(duì)于適應(yīng)不斷增長(zhǎng)的數(shù)據(jù)集，和不斷增加的推理工作負(fù)載至關(guān)重要。必須實(shí)施安全措施（包括嵌入式勒索軟件保護(hù)）以在整個(gè)推理過程中保護(hù)敏感數(shù)據(jù)。

推理涉及處理非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)由文件系統(tǒng)或NAS有效管理。推理是AI的決策階段，與內(nèi)容服務(wù)緊密結(jié)合，以確保實(shí)用性。它通常部署在邊緣計(jì)算、實(shí)時(shí)決策和數(shù)據(jù)中心處理等各種環(huán)境中。

推理的部署需要關(guān)鍵任務(wù)存儲(chǔ)，并且通常需要低延遲解決方案設(shè)計(jì)才能及時(shí)提供結(jié)果。

第四階段：項(xiàng)目歸檔的存儲(chǔ)要求

確保長(zhǎng)期數(shù)據(jù)保留需要強(qiáng)大的耐用性，以便在較長(zhǎng)時(shí)間內(nèi)維持存檔數(shù)據(jù)的完整性和可訪問性。

在線檢索對(duì)于滿足偶爾需要訪問或恢復(fù)存檔數(shù)據(jù)的需求非常重要。成本效益也至關(guān)重要，因?yàn)榇鏅n數(shù)據(jù)很少被訪問，因此需要具有低成本選項(xiàng)的存儲(chǔ)解決方案。

基于HDD或前端為HDD的磁帶的在線大容量對(duì)象存儲(chǔ)是云中最常見的歸檔方法。與此同時(shí)，本地設(shè)置越來(lái)越多地考慮使用主動(dòng)歸檔磁帶，因?yàn)樗哂谐杀拘б婧统錾目沙掷m(xù)性特性。

可擴(kuò)展性的重要性：人工智能世界仍在不斷發(fā)展

如今，人們普遍采用不同類型的存儲(chǔ)來(lái)優(yōu)化AI數(shù)據(jù)管道流程。展望未來(lái)，人們預(yù)計(jì)將更加重視優(yōu)化整體AI數(shù)據(jù)管道和開發(fā)流程。

在數(shù)據(jù)采集和預(yù)處理階段，使用可擴(kuò)展且經(jīng)濟(jì)高效的存儲(chǔ)。預(yù)計(jì)70%的項(xiàng)目時(shí)間將用于將原始輸入轉(zhuǎn)換為用于訓(xùn)練的精選數(shù)據(jù)集。隨著早期AI計(jì)劃的完成，與數(shù)據(jù)發(fā)現(xiàn)、分類、版本控制和數(shù)據(jù)沿襲相關(guān)的挑戰(zhàn)預(yù)計(jì)將變得更加突出。

對(duì)于模型訓(xùn)練，基于SSD的高吞吐量分布式存儲(chǔ)解決方案對(duì)于向GPU提供大量數(shù)據(jù)至關(guān)重要，可確保快速訪問迭代訓(xùn)練過程。雖然目前大多數(shù)云訓(xùn)練都依賴于本地SSD，但隨著流程的進(jìn)步，組織有望優(yōu)先考慮更高效的訓(xùn)練方法和存儲(chǔ)解決方案。因此，最近初創(chuàng)企業(yè)開發(fā)的創(chuàng)新型SSD支持的并行文件系統(tǒng)有所增加，作為本地SSD的替代品。這些新的NVMeSSD存儲(chǔ)系統(tǒng)，旨在通過優(yōu)化配置容量并消除將數(shù)據(jù)傳輸?shù)奖镜仳?qū)動(dòng)器的需要，更有效地處理AI工作負(fù)載的高吞吐量和低延遲需求。

對(duì)于模型推理和部署，低延遲存儲(chǔ)可以提供快速數(shù)據(jù)檢索并增強(qiáng)實(shí)時(shí)性能。隨著推理開始取得進(jìn)展，預(yù)計(jì)到2028年，推理存儲(chǔ)將以近20%的復(fù)合年增長(zhǎng)率增長(zhǎng)，幾乎是LLM訓(xùn)練所用存儲(chǔ)的四倍。

在整個(gè)管道中，數(shù)據(jù)安全和隱私受到高度重視，存儲(chǔ)解決方案中集成了先進(jìn)的加密和合規(guī)措施以保護(hù)敏感信息。確保安全的數(shù)據(jù)訪問和數(shù)據(jù)加密對(duì)于任何數(shù)據(jù)管道都至關(guān)重要。

隨著時(shí)間的推移，存儲(chǔ)系統(tǒng)可能會(huì)演變成一種通用類型，從而消除數(shù)據(jù)傳輸?shù)入A段性問題以及保護(hù)多個(gè)系統(tǒng)的需求。利用單一端到端系統(tǒng)將允許在同一基礎(chǔ)設(shè)施內(nèi)高效地收集、訓(xùn)練和推理數(shù)據(jù)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。