優(yōu)化AI存儲不僅僅涉及選擇正確的硬件，它需要一種數(shù)據(jù)管理方法來成功處理大型語言模型(LLM)所需的大量數(shù)據(jù)。

通過將人工智能處理視為項目數(shù)據(jù)管道的一部分，企業(yè)可以確保其生成的人工智能模型得到有效訓(xùn)練，并且存儲選擇適合目的。通過強調(diào)人工智能數(shù)據(jù)存儲需求的重要性，企業(yè)可以確保他們的人工智能模型既有效又可擴展。

與存儲需求相一致的AI數(shù)據(jù)管道階段

在人工智能數(shù)據(jù)管道中，各個階段與特定的存儲需求保持一致，以確保有效的數(shù)據(jù)處理和利用。以下是典型的階段及其相關(guān)的存儲需求：

數(shù)據(jù)收集和預(yù)處理：收集和集中原始數(shù)據(jù)的存儲，然后將其清理并轉(zhuǎn)換為準備用于培訓(xùn)流程的策劃數(shù)據(jù)集。

模型訓(xùn)練和處理：將整理好的數(shù)據(jù)集輸入到GPU進行處理的存儲。管道的這個階段還需要存儲訓(xùn)練工件，例如超參數(shù)、運行指標、驗證數(shù)據(jù)、模型參數(shù)和最終生產(chǎn)推理模型。管道存儲要求將有所不同，具體取決于您是從頭開始開發(fā)LLM還是增強現(xiàn)有模型，例如再生增強生成(RAG)。

推理和模型部署：任務(wù)關(guān)鍵型存儲，用于托管訓(xùn)練模型，以便根據(jù)新數(shù)據(jù)進行預(yù)測或決策。推理的輸出被應(yīng)用用來提供結(jié)果，通常嵌入到信息和自動化流程中。

歸檔存儲：訓(xùn)練階段完成后，需要將各種工件（例如不同的訓(xùn)練數(shù)據(jù)集和不同版本的模型）與原始數(shù)據(jù)一起存儲。這通常是長期保留，但模型數(shù)據(jù)仍然需要可用，以便提取與過去訓(xùn)練相關(guān)的特定項目。

云端與本地通常會影響所使用的存儲

啟動人工智能項目之前的一個主要決定是，是在混合云設(shè)置中使用云資源、本地數(shù)據(jù)中心資源，還是兩者兼而有之。

對于存儲，云提供各種類型和類別以匹配不同的管道階段，而內(nèi)部存儲通常有限，從而導(dǎo)致針對各種工作負載的通用解決方案。

最常見的混合管道劃分是在云端進行訓(xùn)練，并在本地和邊緣進行推理。

第一階段：數(shù)據(jù)收集和預(yù)處理的存儲要求

在數(shù)據(jù)收集過程中，大量原始非結(jié)構(gòu)化數(shù)據(jù)從遠程數(shù)據(jù)中心和物聯(lián)網(wǎng)邊緣集中起來，需要較高的總體性能水平才能高效地傳輸數(shù)據(jù)。性能必須與互聯(lián)網(wǎng)速度相匹配，而互聯(lián)網(wǎng)速度并不是特別快，需要使用多個線程集體傳輸數(shù)TB的數(shù)據(jù)。

容量可擴展性同樣重要，因為存儲解決方案必須能夠以經(jīng)濟高效的方式擴展以適應(yīng)不斷增長的數(shù)據(jù)集和不斷增加的計算需求。

平衡成本效率對于在預(yù)算范圍內(nèi)滿足這些擴展和性能需求至關(guān)重要，確保解決方案在不花費過多的情況下提供價值。此外，冗余對于通過可靠的備份和復(fù)制防止數(shù)據(jù)丟失至關(guān)重要。

安全性至關(guān)重要，它可以保護敏感數(shù)據(jù)免遭泄露，確保信息的完整性和保密性。最后，互操作性對于與現(xiàn)有系統(tǒng)的無縫集成必不可少，有助于跨各種平臺和技術(shù)實現(xiàn)順暢的數(shù)據(jù)流動和管理。

用于數(shù)據(jù)收集和預(yù)處理的最普遍的存儲是高度冗余的云對象存儲。對象存儲旨在與互聯(lián)網(wǎng)良好交互以進行數(shù)據(jù)收集，具有可擴展性和成本效益。

為了保持大規(guī)模的成本效益，通常使用硬盤驅(qū)動器(HDD)設(shè)備。然而，隨著這種存儲的交互越來越多，低成本固態(tài)硬盤(SSD)變得越來越重要。此階段最終會形成組織良好且經(jīng)過精心策劃的數(shù)據(jù)集。

第二A階段：有效LLM培訓(xùn)的存儲要求

為LLMAI模型處理提供GPU所需的存儲必須滿足幾個關(guān)鍵要求。極致性能至關(guān)重要，需要高吞吐量和快速的讀寫速度來為GPU提供數(shù)據(jù)并維持其持續(xù)運行。

GPU需要穩(wěn)定且快速的數(shù)據(jù)流，這凸顯了與其處理能力相匹配的存儲的重要性。工作負載必須管理訓(xùn)練期間頻繁生成的大量檢查點數(shù)據(jù)轉(zhuǎn)儲?？煽啃詫τ诜乐褂?xùn)練中斷至關(guān)重要，因為任何停機或不一致都可能導(dǎo)致嚴重的整體管道延遲。

此外，用戶友好的界面也很重要，因為它們簡化和優(yōu)化管理任務(wù)，并允許數(shù)據(jù)科學(xué)家專注于人工智能模型開發(fā)而不是存儲管理。

大多數(shù)LLM都在云端進行訓(xùn)練，利用大量GPU。精選數(shù)據(jù)集從云端的對象存儲復(fù)制到本地NVMeSSD，這提供了極高的數(shù)據(jù)GPU饋送性能，并且只需要極少的存儲管理。Azure等云提供商擁有自動化流程來在本地復(fù)制和緩存這些數(shù)據(jù)。

然而，僅依靠本地存儲效率低下；SSD可能處于閑置狀態(tài)，數(shù)據(jù)集需要調(diào)整大小才能適應(yīng)，數(shù)據(jù)傳輸時間可能會妨礙GPU的使用。因此，公司正在探索在云端運行的并行文件系統(tǒng)設(shè)計，以通過NVIDIA直接連接處理數(shù)據(jù)。

第二B階段：有效RAGS培訓(xùn)的存儲要求

在RAG訓(xùn)練期間，私有數(shù)據(jù)被集成到通用LLM模型中，以創(chuàng)建新的聚合模型。這種分散式方法使得LLM無需訪問組織的機密數(shù)據(jù)即可進行訓(xùn)練。此類敏感數(shù)據(jù)的最佳存儲解決方案是可以隱藏個人身份信息(PII)數(shù)據(jù)的系統(tǒng)。

最近，人們已經(jīng)從集中所有數(shù)據(jù)轉(zhuǎn)變?yōu)樵谶h程數(shù)據(jù)中心進行現(xiàn)場管理，然后傳輸?shù)皆贫诉M行處理。

另一種方法是使用云端分布式存儲系統(tǒng)將數(shù)據(jù)拉入云中。RAGS訓(xùn)練的有效存儲解決方案必須結(jié)合高性能和全面的數(shù)據(jù)編目功能。

采用高吞吐量存儲（例如基于SSD的分布式系統(tǒng)）來確保有足夠的帶寬將大型數(shù)據(jù)集提供給GPU至關(guān)重要。

此外，強大的安全措施（包括加密和訪問控制）對于在整個培訓(xùn)過程中保護敏感數(shù)據(jù)至關(guān)重要。

并行文件系統(tǒng)和傳統(tǒng)網(wǎng)絡(luò)附加存儲(NAS)之間預(yù)計將出現(xiàn)競爭。NAS歷來是本地非結(jié)構(gòu)化數(shù)據(jù)的首選，許多本地數(shù)據(jù)中心仍是如此。

第三階段：有效AI推理和模型部署的存儲要求

成功部署模型推理需要高速、關(guān)鍵任務(wù)存儲。高速存儲可以快速訪問和處理數(shù)據(jù)，最大限度地減少延遲并提高實時性能。

此外，性能可擴展的存儲系統(tǒng)對于適應(yīng)不斷增長的數(shù)據(jù)集，和不斷增加的推理工作負載至關(guān)重要。必須實施安全措施（包括嵌入式勒索軟件保護）以在整個推理過程中保護敏感數(shù)據(jù)。

推理涉及處理非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)由文件系統(tǒng)或NAS有效管理。推理是AI的決策階段，與內(nèi)容服務(wù)緊密結(jié)合，以確保實用性。它通常部署在邊緣計算、實時決策和數(shù)據(jù)中心處理等各種環(huán)境中。

推理的部署需要關(guān)鍵任務(wù)存儲，并且通常需要低延遲解決方案設(shè)計才能及時提供結(jié)果。

第四階段：項目歸檔的存儲要求

確保長期數(shù)據(jù)保留需要強大的耐用性，以便在較長時間內(nèi)維持存檔數(shù)據(jù)的完整性和可訪問性。

在線檢索對于滿足偶爾需要訪問或恢復(fù)存檔數(shù)據(jù)的需求非常重要。成本效益也至關(guān)重要，因為存檔數(shù)據(jù)很少被訪問，因此需要具有低成本選項的存儲解決方案。

基于HDD或前端為HDD的磁帶的在線大容量對象存儲是云中最常見的歸檔方法。與此同時，本地設(shè)置越來越多地考慮使用主動歸檔磁帶，因為它具有成本效益和出色的可持續(xù)性特性。

可擴展性的重要性：人工智能世界仍在不斷發(fā)展

如今，人們普遍采用不同類型的存儲來優(yōu)化AI數(shù)據(jù)管道流程。展望未來，人們預(yù)計將更加重視優(yōu)化整體AI數(shù)據(jù)管道和開發(fā)流程。

在數(shù)據(jù)采集和預(yù)處理階段，使用可擴展且經(jīng)濟高效的存儲。預(yù)計70%的項目時間將用于將原始輸入轉(zhuǎn)換為用于訓(xùn)練的精選數(shù)據(jù)集。隨著早期AI計劃的完成，與數(shù)據(jù)發(fā)現(xiàn)、分類、版本控制和數(shù)據(jù)沿襲相關(guān)的挑戰(zhàn)預(yù)計將變得更加突出。

對于模型訓(xùn)練，基于SSD的高吞吐量分布式存儲解決方案對于向GPU提供大量數(shù)據(jù)至關(guān)重要，可確?？焖僭L問迭代訓(xùn)練過程。雖然目前大多數(shù)云訓(xùn)練都依賴于本地SSD，但隨著流程的進步，組織有望優(yōu)先考慮更高效的訓(xùn)練方法和存儲解決方案。因此，最近初創(chuàng)企業(yè)開發(fā)的創(chuàng)新型SSD支持的并行文件系統(tǒng)有所增加，作為本地SSD的替代品。這些新的NVMeSSD存儲系統(tǒng)，旨在通過優(yōu)化配置容量并消除將數(shù)據(jù)傳輸?shù)奖镜仳?qū)動器的需要，更有效地處理AI工作負載的高吞吐量和低延遲需求。

對于模型推理和部署，低延遲存儲可以提供快速數(shù)據(jù)檢索并增強實時性能。隨著推理開始取得進展，預(yù)計到2028年，推理存儲將以近20%的復(fù)合年增長率增長，幾乎是LLM訓(xùn)練所用存儲的四倍。

在整個管道中，數(shù)據(jù)安全和隱私受到高度重視，存儲解決方案中集成了先進的加密和合規(guī)措施以保護敏感信息。確保安全的數(shù)據(jù)訪問和數(shù)據(jù)加密對于任何數(shù)據(jù)管道都至關(guān)重要。

隨著時間的推移，存儲系統(tǒng)可能會演變成一種通用類型，從而消除數(shù)據(jù)傳輸?shù)入A段性問題以及保護多個系統(tǒng)的需求。利用單一端到端系統(tǒng)將允許在同一基礎(chǔ)設(shè)施內(nèi)高效地收集、訓(xùn)練和推理數(shù)據(jù)。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。