為滿足對企業(yè)級生成式AI日益增長的需求,JFrog Platform集成了NVIDIA NIM,以提供GPU優(yōu)化的AI模型服務
2024年9月18日——流式軟件公司、JFrog軟件供應鏈平臺的締造者JFrog(納斯達克股票代碼:FROG),現(xiàn)已通過收購Qwak AI將業(yè)務擴展至涵蓋統(tǒng)一MLOps平臺,近期宣布與NVIDIA NIM微服務(NVIDIA AI Enterprise軟件平臺的一部分)進行新的產品集成。將JFrog Artifactory模型注冊和NVIDIA NIM集成至JFrog Platform,有望實現(xiàn)在端到端軟件供應鏈工作流中將GPU優(yōu)化、預獲批的AI模型與集中式DevSecOps流程相結合,使企業(yè)能夠以極快的速度將安全的機器學習(ML)模型和大語言模型(LLM)投入生產,并提高透明度、可追溯性和信任度。
JFrog戰(zhàn)略執(zhí)行副總裁Gal Marder表示:“隨著企業(yè)快速采用AI技術,落實確保效率和安全性的實踐,并以負責任的方式采用AI至關重要。通過NVIDIA NIM微服務,將DevOps、安全和MLOps流程集成至端到端軟件供應鏈工作流中,客戶將能夠高效地將安全模型投入生產,同時在整個流水線中保持高度的可視性、可追溯性和可控性。”
隨著AI在軟件應用中的興起和市場需求的快速增長,數(shù)據(jù)科學家和ML工程師在企業(yè)環(huán)境中擴展ML模型部署時面臨著多樣化的挑戰(zhàn)。碎片化的資產管理、安全漏洞、合規(guī)性問題和性能瓶頸,再加上將AI工作流與現(xiàn)有軟件開發(fā)流程集成的復雜性,以及在各種環(huán)境中靈活、安全部署的應用需求,使問題變得更加復雜。這種復雜性的疊加可能導致部署周期漫長且成本高昂,甚至許多情況下會導致AI應用計劃的失敗。
NVIDIA企業(yè)戰(zhàn)略合作伙伴副總裁Pat Lee表示:“隨著企業(yè)擴大生成式AI的部署規(guī)模,中央存儲庫可以幫助他們快速選擇和部署已獲準開發(fā)的模型。將NVIDIA NIM微服務集成到JFrog Platform,可以幫助開發(fā)人員快速獲得完全合規(guī)、性能優(yōu)化的模型,并迅速投入生產。”
JFrog Artifactory提供了一種單一解決方案,該方案適用于存儲和管理整個軟件供應鏈中使用的所有制品、二進制文件、軟件包、文件、容器和組件。JFrog Platform與NVIDIA NIM的集成有望將容器化AI模型作為軟件包納入現(xiàn)有的軟件開發(fā)工作流。通過將NVIDIANGC(一個GPU優(yōu)化深度學習、ML和HPC模型的中心)與JFrog Platform和JFrog Artifactory模型注冊中心相結合,企業(yè)將能夠為所有軟件包和AI模型維護單一事實來源,同時利用企業(yè)DevSecOps最佳實踐來獲得對整體軟件供應鏈的可視性、管理和控制。
JFrog Platform與NVIDIA NIM的集成有望帶來多項優(yōu)勢,包括
●統(tǒng)一管理:在JFrog Artifactory(作為模型注冊表)中,對所有資產(包括專有制品和開源軟件依賴項)以及NIM微服務容器進行集中訪問控制和管理,實現(xiàn)與現(xiàn)有DevSecOps工作流的無縫集成。
●全面的安全性和完整性:在開發(fā)的每個環(huán)節(jié)(包括容器和依賴項)進行持續(xù)掃描,通過JFrog審計和使用情況統(tǒng)計來提供對NIM微服務的上下文洞察,從而促進合規(guī)性。
●卓越的模型性能和可擴展性:利用NVIDIA加速計算基礎設施來優(yōu)化AI應用性能,提供低延遲和高吞吐量,以便在大規(guī)模生產環(huán)境中實現(xiàn)具有可擴展性的LLM部署。
●靈活部署:通過JFrog Artifactory提供靈活的部署選項,包括自托管、多云和離線部署選項。
###
關于JFrog
JFrog Ltd.(納斯達克股票代碼:FROG)的使命是創(chuàng)造一個從開發(fā)人員到設備之間暢通無阻的軟件交付世界。秉承“流式軟件”的理念,JFrog軟件供應鏈平臺是統(tǒng)一的記錄系統(tǒng),幫助企業(yè)快速安全地構建、管理和分發(fā)軟件,確保軟件可用、可追溯和防篡改。集成的安全功能還有助于發(fā)現(xiàn)和抵御威脅和漏洞并加以補救。JFrog的混合、通用、多云平臺可以作為跨多個主流云服務提供商的自托管和SaaS服務。全球數(shù)百萬用戶和7200多名客戶,包括大多數(shù)財富100強企業(yè),依靠JFrog解決方案安全地開展數(shù)字化轉型。一用便知!如欲了解更多信息,請訪問jfrogchina.com或者關注我們的微信官方賬號:JFrog捷蛙。
(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )