關(guān)于人工智能給數(shù)據(jù)中心電力帶來的問題，已經(jīng)有很多報(bào)道。緩解壓力的一種方法是使用“邊緣LLM”，這使得人工智能系統(tǒng)能夠在pc、平板電腦、筆記本電腦和智能手機(jī)上本地運(yùn)行。

邊緣LLM的明顯優(yōu)勢(shì)包括降低LLM培訓(xùn)成本、減少查詢LLM的延遲、增強(qiáng)用戶隱私并提高可靠性。

如果能夠通過降低處理能力需求來減輕數(shù)據(jù)中心的壓力，那么邊緣的llm就有可能消除對(duì)千兆瓦級(jí)人工智能數(shù)據(jù)中心工廠的需求。但這種方法真的可行嗎？

隨著有關(guān)將支撐生成式人工智能的LLM轉(zhuǎn)移到邊緣的討論越來越多，我們仔細(xì)研究了這種轉(zhuǎn)變是否能夠真正減輕數(shù)據(jù)中心的壓力。

智能手機(jī)引領(lǐng)邊緣人工智能

發(fā)展最快的邊緣AI用例是智能手機(jī)上的輕量級(jí)LLM。華為已開發(fā)了不同大小的LLMPangu5.0，最小版本已與其智能手機(jī)操作系統(tǒng)HarmonyOS集成。運(yùn)行該操作系統(tǒng)的設(shè)備包括華為Mate30Pro5G。

與此同時(shí)，三星開發(fā)了GaussLLM，用于三星GalaxyAI，該技術(shù)在其旗艦智能手機(jī)三星S24中運(yùn)行。其AI功能包括實(shí)時(shí)翻譯、語音轉(zhuǎn)文本和總結(jié)筆記、圓圈搜索以及照片和消息輔助。

三星電子的LPDDR5XDRAM半導(dǎo)體也進(jìn)入了量產(chǎn)階段。這些12納米芯片直接在設(shè)備上處理內(nèi)存工作負(fù)載，使手機(jī)的操作系統(tǒng)能夠更快地與存儲(chǔ)設(shè)備一起工作，從而更有效地處理人工智能工作負(fù)載。

總體而言，智能手機(jī)制造商正在努力縮小LLM的大小。他們正試圖將其參數(shù)數(shù)量從ChatGPT-3的1750億個(gè)減少到20億個(gè)左右。

英特爾和AMD也參與了邊緣AI的開發(fā)。AMD正在開發(fā)能夠快速本地運(yùn)行300億參數(shù)LLM的筆記本電腦芯片。同樣，英特爾也組建了一個(gè)合作伙伴生態(tài)系統(tǒng)，正在努力開發(fā)AIPC。這些支持AI的設(shè)備可能比普通型號(hào)更貴。但加價(jià)可能不會(huì)像預(yù)期的那么高，而且隨著采用率的提高，加價(jià)可能會(huì)大幅下降。

邊緣AI的昂貴部分主要在于訓(xùn)練。在推理模式下使用的訓(xùn)練模型不需要昂貴的設(shè)備來運(yùn)行。早期的部署可能是針對(duì)錯(cuò)誤和“幻覺”不太重要且聲譽(yù)受損風(fēng)險(xiǎn)不太可能太大的場(chǎng)景。

示例包括增強(qiáng)型推薦引擎、人工智能驅(qū)動(dòng)的互聯(lián)網(wǎng)搜索以及創(chuàng)建插圖或設(shè)計(jì)。在這里，依靠用戶來檢測(cè)可疑的響應(yīng)或表現(xiàn)不佳的圖像和設(shè)計(jì)。

數(shù)據(jù)中心對(duì)LLM的影響

隨著數(shù)據(jù)中心準(zhǔn)備大幅增加密度和功率需求以支持人工智能的發(fā)展，邊緣趨勢(shì)的LLM對(duì)數(shù)字基礎(chǔ)設(shè)施意味著什么？

在可預(yù)見的未來，在邊緣運(yùn)行的模型將繼續(xù)在數(shù)據(jù)中心進(jìn)行訓(xùn)練。因此，目前來自人工智能的大量流量在短期內(nèi)不太可能減弱。但數(shù)據(jù)中心內(nèi)訓(xùn)練的模型已經(jīng)在發(fā)生變化。來自O(shè)penAI、谷歌和亞馬遜等企業(yè)的大規(guī)模模型將繼續(xù)存在。但規(guī)模較小、更專注的LLM正在崛起。

到2027年，企業(yè)使用的GenAI模型中將有超過50%專門針對(duì)某個(gè)行業(yè)或業(yè)務(wù)功能，而2023年這一比例約為1%。領(lǐng)域模型可以更小、計(jì)算強(qiáng)度更低，并降低與通用模型相關(guān)的幻覺風(fēng)險(xiǎn)。

為減少GenAI的大小和處理強(qiáng)度而開展的開發(fā)工作，將延伸到可在各種設(shè)備上運(yùn)行的更高效的邊緣LLM。一旦邊緣LLM獲得發(fā)展勢(shì)頭，它們有望減少需要在集中式數(shù)據(jù)中心進(jìn)行的AI處理量，這完全取決于規(guī)模。

目前，LLM訓(xùn)練在很大程度上主導(dǎo)了GenAI，因?yàn)槟Ｐ腿栽趧?chuàng)建或完善中。但想象一下，數(shù)億用戶在智能手機(jī)和PC上本地使用LLM，查詢必須通過大型數(shù)據(jù)中心進(jìn)行處理。從規(guī)模上講，這種流量可能會(huì)讓數(shù)據(jù)中心不堪重負(fù)。因此，LLM在邊緣的價(jià)值可能要等到它們進(jìn)入主流后才能實(shí)現(xiàn)。

LLM：安全與隱私

任何與云端的LLM進(jìn)行交互的人，都有可能使組織面臨隱私問題和網(wǎng)絡(luò)安全漏洞的可能性。

隨著越來越多的查詢和提示在企業(yè)外部進(jìn)行，人們開始質(zhì)疑誰有權(quán)訪問這些數(shù)據(jù)。畢竟，用戶正在向人工智能系統(tǒng)詢問有關(guān)他們的健康、財(cái)務(wù)和業(yè)務(wù)的各種問題。

為此，這些用戶經(jīng)常輸入個(gè)人身份信息(PII)、敏感醫(yī)療保健數(shù)據(jù)、客戶信息甚至企業(yè)機(jī)密。

轉(zhuǎn)向規(guī)模較小的LLM，這些LLM可以包含在企業(yè)數(shù)據(jù)中心內(nèi)（因此不在云中運(yùn)行），也可以在本地設(shè)備上運(yùn)行，這是繞過廣泛使用LLM（如ChatGPT）所帶來的許多持續(xù)安全和隱私問題的一種方式。

如果使用人工智能作為個(gè)人助理，并且要處理機(jī)密信息、你不想公開的敏感信息，那么邊緣的安全和隱私確實(shí)非常重要。

邊緣LLM發(fā)展趨勢(shì)

邊緣上的LLM不會(huì)立即顯現(xiàn)出來——除了少數(shù)特殊用例。但邊緣趨勢(shì)似乎勢(shì)不可擋。67%的組織基礎(chǔ)設(shè)施硬件決策者已經(jīng)采用邊緣智能或正在采用。約三分之一的企業(yè)還將收集和執(zhí)行邊緣環(huán)境的AI分析，以便為員工提供更高、更快的價(jià)值洞察。

企業(yè)希望從移動(dòng)設(shè)備、物聯(lián)網(wǎng)和其他設(shè)備收集相關(guān)輸入，以便在客戶提出要求或需要更大價(jià)值時(shí)為他們提供相關(guān)的用例驅(qū)動(dòng)的洞察。

公用事業(yè)、采礦和交通維護(hù)等行業(yè)的現(xiàn)場(chǎng)工程和運(yùn)營(yíng)已經(jīng)面向個(gè)人設(shè)備，并已準(zhǔn)備好進(jìn)行LLM增強(qiáng)。由于此類邊緣LLM應(yīng)用具有商業(yè)價(jià)值，因此預(yù)計(jì)為具有LLM功能的現(xiàn)場(chǎng)設(shè)備或手機(jī)支付更多費(fèi)用將不再是問題。

隨著采用率的提高，硬件價(jià)格下降后，邊緣LLM才能被消費(fèi)者和企業(yè)廣泛使用。例如，AppleVisionPro主要部署在價(jià)格合理的商業(yè)解決方案中。

近期的其他用例包括電信和網(wǎng)絡(luò)管理、智能建筑和工廠自動(dòng)化。Goetz表示，邊緣LLM的更高級(jí)用例（例如沉浸式零售和自動(dòng)駕駛汽車）將不得不等待五年或更長(zhǎng)時(shí)間。

在我們看到個(gè)人設(shè)備上的LLM蓬勃發(fā)展之前，針對(duì)特定行業(yè)和業(yè)務(wù)流程的專業(yè)LLM將會(huì)出現(xiàn)增長(zhǎng)。一旦這些開發(fā)出來，就更容易擴(kuò)展和采用，因?yàn)椴恍枰瑫r(shí)訓(xùn)練和調(diào)整模型、縮小模型和部署模型。

CIBIS峰會(huì)

由千家網(wǎng)主辦的2024年第25屆CIBIS建筑智能化峰會(huì)即將開啟，本屆峰會(huì)主題為：“匯智提質(zhì)：開啟未來新篇章”。屆時(shí)，我們將攜手全球知名智能化品牌及業(yè)內(nèi)專家，共同探討物聯(lián)網(wǎng)、AI、云計(jì)算、大數(shù)據(jù)、智慧建筑、智能家居、智慧安防等熱點(diǎn)話題與最新技術(shù)應(yīng)用，分享如何利用更智慧、更高效、更安全、更低碳的智慧技術(shù)，共同開啟未來美好智慧生活。

歡迎建筑智能化行業(yè)小伙伴報(bào)名參會(huì)，共同分享交流！

報(bào)名方式

長(zhǎng)沙站（10月24日）：https://hdxu.cn/MrRqa

成都站（11月05日）：https://hdxu.cn/7FoIq

西安站（11月07日）：https://hdxu.cn/ToURP

北京站（11月19日）：https://hdxu.cn/aeV0J

上海站（11月21日）：https://hdxu.cn/xCWWb

廣州站（12月05日）：https://hdxu.cn/QaqDj

更多2024年峰會(huì)信息，詳見峰會(huì)官網(wǎng)：http://summit.qianjia.com

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。