在科技之光的照耀下,大模型從云端的殿堂飄然而至終端的舞臺(tái)。這一歷史性的跨越,不僅賦予了數(shù)據(jù)處理以迅捷之翼,更將智能體驗(yàn)推向了前所未有的高度。終端上的大模型以靈動(dòng)的姿態(tài),即時(shí)捕捉并回應(yīng)著每一個(gè)細(xì)微的需求,將AI的觸角延伸至世界的每一個(gè)角落。
近日,在EEVIA主辦的第12屆中國(guó)硬科技產(chǎn)業(yè)鏈創(chuàng)新趨勢(shì)峰會(huì)暨百家媒體論壇上,安謀科技產(chǎn)品總監(jiān)鮑敏祺發(fā)表了精彩的主題演講《端側(cè)AI應(yīng)用芯機(jī)遇,NPU加速終端算力升級(jí)》。他深入剖析了端側(cè)AI發(fā)展的廣闊前景,并詳細(xì)介紹了安謀科技自研NPU的最新進(jìn)展。
端側(cè)AI正在崛起
AIGC大模型帶來(lái)的算力提升是端側(cè)AI迎來(lái)的最大機(jī)遇。鮑敏祺表示,從近期頭部大廠的發(fā)布中都可以看出,端側(cè)AI的應(yīng)用已經(jīng)得到了業(yè)界的一致認(rèn)可。
當(dāng)前,國(guó)際和國(guó)內(nèi)實(shí)際部署的主流端側(cè)大模型體量主要集中在100億參數(shù)以下。這一限制主要是由于端側(cè)設(shè)備的內(nèi)存帶寬范圍通常在50-100GB/s之間。為了滿(mǎn)足用戶(hù)對(duì)應(yīng)用實(shí)時(shí)性的需求,10-30億參數(shù)的大模型最適合部署在現(xiàn)有的帶寬條件下。這些模型能夠在保持高效性能的同時(shí),提供快速響應(yīng)和高質(zhì)量的服務(wù)。
頭部終端廠商如OPPO、vivo、小米、榮耀和華為等,都在積極推動(dòng)端側(cè)AI的發(fā)展。他們不僅自研了適合端側(cè)部署的大模型,還將其與具體業(yè)務(wù)場(chǎng)景緊密結(jié)合。芯片廠商也達(dá)成了共識(shí),認(rèn)為AI NPU(神經(jīng)網(wǎng)絡(luò)處理單元)將是未來(lái)消費(fèi)類(lèi)電子產(chǎn)品發(fā)展的重點(diǎn)。NPU通過(guò)專(zhuān)門(mén)優(yōu)化的硬件架構(gòu),能夠大幅提升端側(cè)設(shè)備的AI計(jì)算能力,同時(shí)降低功耗。
盡管端側(cè)AI的發(fā)展勢(shì)頭強(qiáng)勁,但鮑敏祺強(qiáng)調(diào),這并不意味著要徹底放棄云端AI。相反,他認(rèn)為兩者應(yīng)該實(shí)現(xiàn)互補(bǔ),才能產(chǎn)生最大的收益。端側(cè)AI的優(yōu)勢(shì)在于其時(shí)效性和數(shù)據(jù)本地化帶來(lái)的安全性。由于數(shù)據(jù)處理發(fā)生在設(shè)備本地,用戶(hù)的隱私得到更好的保護(hù),同時(shí)也能實(shí)現(xiàn)實(shí)時(shí)響應(yīng)。而云端AI則具備更強(qiáng)的推理能力和大規(guī)模數(shù)據(jù)處理能力,可以進(jìn)行更復(fù)雜的任務(wù)。因此,結(jié)合端側(cè)和云端的優(yōu)勢(shì),將為用戶(hù)提供更加全面和高效的AI體驗(yàn)。
從人機(jī)交互界面的發(fā)展歷史來(lái)看,從最初的物理按鍵到觸摸屏和語(yǔ)音交互,再到當(dāng)前的Agent智能體,每一次變革都極大地提升了用戶(hù)體驗(yàn)。未來(lái)的趨勢(shì)將是多模態(tài)場(chǎng)景,即結(jié)合圖像、音頻、視頻等多種輸入方式,使設(shè)備能夠更全面地理解用戶(hù)的需求。通過(guò)觀察和學(xué)習(xí),未來(lái)的AI系統(tǒng)將能夠更好地預(yù)測(cè)和滿(mǎn)足用戶(hù)的期望,從而實(shí)現(xiàn)真正的智能化。
以三重升級(jí)應(yīng)對(duì)三重挑戰(zhàn)
端側(cè)AI的快速發(fā)展給硬件設(shè)備帶來(lái)了三重挑戰(zhàn):成本、功耗和生態(tài)系統(tǒng)。
成本的挑戰(zhàn)主要來(lái)自于設(shè)備的存儲(chǔ)容量、帶寬和芯片計(jì)算資源。功耗則源自對(duì)數(shù)據(jù)的大量搬運(yùn),而且大模型無(wú)法像CNN一樣實(shí)現(xiàn)高度復(fù)用,也會(huì)大幅提升功耗。最后,開(kāi)發(fā)工具的不斷優(yōu)化和支持也是挑戰(zhàn)所在。
針對(duì)這些挑戰(zhàn),安謀科技自研的“周易”NPU圍繞微架構(gòu)、能效和并行處理等方面進(jìn)行了升級(jí)。
· 微架構(gòu):鑒于CNN與Transformer的差異性,“周易”NPU在保留CNN能力的基礎(chǔ)上,又針對(duì)Transformer進(jìn)行了優(yōu)化,克服了實(shí)際計(jì)算中的瓶頸。
· 效率:進(jìn)行混合精度的量化,比如int4和fp16,在算法和工具鏈層面上實(shí)現(xiàn)低精度量化。同時(shí),對(duì)數(shù)據(jù)進(jìn)行無(wú)損壓縮和改變稀疏度,從而增加有效帶寬。另外,采用In-NPU interconnection技術(shù),實(shí)現(xiàn)了對(duì)總線(xiàn)帶寬的擴(kuò)展。
· 并行處理:采用數(shù)據(jù)并行或模型并行,使用負(fù)載均衡和Tiling,減少了數(shù)據(jù)的搬運(yùn)。
鮑敏祺還詳細(xì)介紹了下一代的周易“NPU”架構(gòu),不僅包含了能夠適應(yīng)多任務(wù)場(chǎng)景的Task Schedule Manager,而且整個(gè)架構(gòu)具備可擴(kuò)展能力,并增加DRAM以實(shí)現(xiàn)高帶寬的匹配,還增加了OCM(Optional on Chip SRAM),以支持有特殊要求的算法。
鮑敏祺在演講中特別強(qiáng)調(diào)了“周易”NPU對(duì)異構(gòu)計(jì)算的支持,并指出無(wú)論是從能效還是整個(gè)SoC(系統(tǒng)級(jí)芯片)的面積角度來(lái)看,異構(gòu)計(jì)算都是端側(cè)AI芯片的最佳選擇。他解釋道,面對(duì)不同的應(yīng)用場(chǎng)景,異構(gòu)計(jì)算能夠?qū)崿F(xiàn)算力的靈活裁剪,并將不必要的功耗降到最低。
跨領(lǐng)域的應(yīng)用專(zhuān)家
周易“NPU”已經(jīng)在多個(gè)關(guān)鍵領(lǐng)域展示了其強(qiáng)大的性能和靈活性,特別是在汽車(chē)應(yīng)用、AI加速卡以及AIoT場(chǎng)景中。
在汽車(chē)應(yīng)用中,不同的場(chǎng)景會(huì)對(duì)應(yīng)不同的算力需求。如果是車(chē)載信息娛樂(lè)系統(tǒng),對(duì)算力的要求不會(huì)太高,但是在ADAS應(yīng)用中,很多情況下要執(zhí)行多任務(wù),對(duì)算力的要求就會(huì)大幅提升。而“周易”NPU的算力范圍是20~320TOPS,可以根據(jù)需求裁剪出所需的算力。鮑敏祺表示,搭載了“周易”NPU的芯擎科技“龍鷹一號(hào)”已累計(jì)出貨超過(guò)40萬(wàn)片,并成功定點(diǎn)應(yīng)用于吉利旗下的領(lǐng)克、銀河系列以及一汽紅旗等20余款主力車(chē)型中。
在AI加速卡的應(yīng)用中,周易“NPU”能夠與智能汽車(chē)、PC、機(jī)器人等不同類(lèi)型的主機(jī)處理器(Host AP)進(jìn)行高效交互,處理音頻、圖像、視頻等多種數(shù)據(jù)形式。這種多模態(tài)模型的支持能力使得周易“NPU”能夠在復(fù)雜的數(shù)據(jù)環(huán)境中保持高性能和靈活性。在AIoT場(chǎng)景中,設(shè)備通常受到面積和功耗的嚴(yán)格限制。盡管如此,周易“NPU”仍能提供高效的算力支持,同時(shí)保證高度的安全性。這使得它成為多個(gè)應(yīng)用場(chǎng)景的理想選擇。
鮑敏祺最后表示,下一代周易“NPU”將會(huì)繼承并顯著增強(qiáng)前代產(chǎn)品的強(qiáng)算力、易部署以及可編程等特點(diǎn)和優(yōu)勢(shì),并圍繞精度、帶寬、調(diào)度管理、算子支持等多個(gè)方面進(jìn)行持續(xù)優(yōu)化。同時(shí),NPU不僅要考慮適配現(xiàn)在的存儲(chǔ)介質(zhì),還要考慮到對(duì)未來(lái)各種存儲(chǔ)介質(zhì)的適配,使得NPU能夠更好地滿(mǎn)足當(dāng)前及未來(lái)市場(chǎng)需求。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 臺(tái)積電2納米芯片性能提升僅15%,知情人士稱(chēng)試產(chǎn)良率超過(guò)60%
- 半導(dǎo)體2025:影響技術(shù)革命的新興趨勢(shì)
- 這家普通人不熟悉的公司,市值如何超過(guò)萬(wàn)億美元
- 增資超30億元 華為增持旗下極目機(jī)器公司
- 傳蘋(píng)果將在新一代iPhone SE中采用自研5G基帶芯片,速度僅為高通的一半
- 美國(guó)模擬芯片巨頭亞德諾過(guò)去一年全球減員2000人,2024財(cái)年?duì)I收同比下降23%
- 移動(dòng)芯片之王Arm,下一步要做AI芯片之王
- 2025年全球半導(dǎo)體市場(chǎng)規(guī)模將達(dá)6971億美元,AI驅(qū)動(dòng)增長(zhǎng)勢(shì)頭強(qiáng)勁
- 臺(tái)積電回應(yīng)美出口管制新規(guī):影響可控,2nm制程未來(lái)或轉(zhuǎn)移美國(guó)
- 背靠亞馬遜和三星的AI芯片創(chuàng)企爆紅,Tenstorrent向英偉達(dá)發(fā)起“價(jià)格戰(zhàn)”
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。