7月17日消息，近日，在全球邊緣計算大會上，網(wǎng)宿科技、分享了網(wǎng)宿邊緣計算對于大模型時代的思考與探索。
網(wǎng)宿科技邊緣智能平臺資深架構師陳云輝表示，在未來大模型將成為一種基礎設施，每個行業(yè)甚至每個企業(yè)都會有屬于自己的大模型。而如何更好地將大模型落地到具體應用場景、提升生產(chǎn)力，是產(chǎn)業(yè)共同探索的方向，也是網(wǎng)宿邊緣計算的機會所在。
邊緣計算如何在大模型時代發(fā)揮價值？在陳云輝看來，邊緣計算可以從微調訓練和邊緣推理兩大場景切入。
眼下，大模型和AIGC正引領全球科技新浪潮，而由于從零開始訓練模型面臨周期長，GPU需求大、成本高等問題，大模型的使用范式主要為 “預訓練 + 微調訓練+提示詞工程”，即基于預訓練好的大模型進行領域知識微調訓練或使用提示詞工程，再應用到具體的場景，從而降低成本。
“這種模式可以加快AIGC創(chuàng)新步伐，但大模型的參數(shù)量巨大，進行所有參數(shù)的微調成本非常高，LoRA成為有效的解決方法之一。網(wǎng)宿邊緣計算可以支持LoRA、QLoRa等輕量微調訓練方法，大大降低大模型個性化、領域化的適配成本，促進AIGC在垂直應用場景的落地?！标愒戚x分析道。
不僅如此，隨著多模態(tài)AI的發(fā)展以及AIGC在更多領域的應用，AIGC生成的內容將涵蓋圖片、語音以及視頻，AI推理相對訓練的成本占比將提升，對流量需求將越來越高。同時，伴隨AIGC模型領域化、小型化、輕量化技術的發(fā)展，未來AIGC對算力要求也將持續(xù)降低。
“因而大模型推理運算可以從中心下沉到邊緣，實現(xiàn)更低的帶寬成本、更快的響應速度。網(wǎng)宿在邊緣側有得天獨厚的優(yōu)勢，可以很好地賦能邊緣推理場景?！标愒戚x表示。
作為領先的邊緣計算服務商，網(wǎng)宿邊緣計算擁有顯著的資源協(xié)同優(yōu)勢，可以與CDN業(yè)務在機房、算力、帶寬、調度等方面充分協(xié)同，并且網(wǎng)宿基于全球2800個節(jié)點打造的輕量化邊緣智能平臺，節(jié)點分布廣泛，平臺運營經(jīng)驗豐富，可以復用到大模型場景。
得益于以上優(yōu)勢，網(wǎng)宿科技探索了面向大模型與AIGC時代的產(chǎn)品形態(tài)，并逐步落地。據(jù)悉，網(wǎng)宿科技基于網(wǎng)宿邊緣智能平臺，針對大模型推理、訓練等場景，構建了邊緣CPU算力平臺、開源大模型訓練部署平臺，并輸出垂直領域的解決方案，以適應市場需求和技術發(fā)展，讓大模型賦能百業(yè)。
其中，網(wǎng)宿邊緣GPU算力平臺基于網(wǎng)宿廣泛分布的節(jié)點資源，提供輕量化算力資源，支持GPU虛擬化，可滿足輕量AI任務場景的需求，如AI推理、深度學習、圖形可視化等。
網(wǎng)宿開源大模型訓練部署平臺基于開源預訓練大模型，提供包含模型微調訓練、性能評估、部署監(jiān)控、輕量化推理等功能的端到端大模型服務平臺，可降低大模型應用落地成本，幫助客戶打造自己專屬的的大模型。
此外，網(wǎng)宿提供垂直領域的解決方案，包括開箱即用的基于私有大模型的企業(yè)知識庫解決方案，可以服務企業(yè)內部與外部客戶，以及針對電商領域的圖像生成解決方案，如AI模特等，幫助垂直領域降本增效。
陳云輝表示，“以上三種產(chǎn)品形態(tài)分別對應Iaas、PaaS 、SaaS層，未來我們希望打造全棧解決方案，降低AIGC的使用門檻。我們相信，隨著大模型和AIGC的廣泛應用，網(wǎng)宿邊緣智能平臺將迎來更多用武之地?！?/p>
值得一提的是，此次會上，陳云輝還重點展示了網(wǎng)宿邊緣智能平臺在AI應用場景的實踐經(jīng)驗。
網(wǎng)宿邊緣智能平臺基于網(wǎng)宿豐富的節(jié)點管理和調度能力，針對邊緣計算場景提供云邊一體化協(xié)同托管方案，可以一站式納管各類架構的邊緣設備，將云上應用延伸到邊緣，滿足客戶對邊緣計算資源的遠程管控、數(shù)據(jù)處理、分析決策、AI應用等訴求。目前該平臺已經(jīng)服務于智能養(yǎng)殖、智能換電、智能勘測、智能安防等AI應用場景，成功幫助客戶節(jié)約建設成本、提升運營效率。
（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
