芯東西9月19日?qǐng)?bào)道,9月14日-15日,2023全球AI芯片峰會(huì)(GACS 2023)在深圳市南山區(qū)圓滿舉行。繼首日開幕式及AI芯片創(chuàng)新專場(chǎng)火熱開場(chǎng)(《云邊端AI芯片熱戰(zhàn)大模型!2023全球AI芯片峰會(huì)首日干貨》),峰會(huì)次日演講繼續(xù)輸出密集干貨滿載,在上午場(chǎng)的最后一個(gè)環(huán)節(jié),2023中國AI芯片先鋒企業(yè)TOP30和2023中國AI芯片新銳企業(yè)TOP10評(píng)選結(jié)果正式公布。
▲2023中國AI芯片先鋒企業(yè)TOP30
▲2023中國AI芯片新銳企業(yè)TOP10
2023全球AI芯片峰會(huì)由智一科技旗下芯東西聯(lián)合智猩猩發(fā)起主辦,在南山區(qū)科技創(chuàng)新局的指導(dǎo)下以“AI大時(shí)代 逐鹿芯世界”為主題,設(shè)置七大板塊,主會(huì)場(chǎng)包括開幕式和AI芯片架構(gòu)創(chuàng)新、AI大算力芯片和高能效AI芯片三大專場(chǎng);分會(huì)場(chǎng)包括首次增設(shè)的集成電路政策交流會(huì)、AI芯片分析師論壇、智算中心算力與網(wǎng)絡(luò)高峰論壇。
在第二天的AI大算力芯片論壇、高能效AI芯片論壇上,上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授梁曉峣發(fā)表開場(chǎng)演講,隨后來自英特爾Habana、壁仞科技、千芯科技、Graphcore、中科加禾、芯和半導(dǎo)體、云天勵(lì)飛、知存科技、諾磊科技、邁特芯、肇觀電子、智芯科、原粒半導(dǎo)體、九天睿芯等15家頂尖AI芯片企業(yè)及新銳企業(yè)的創(chuàng)始人、技術(shù)決策者及高管分別發(fā)表主題演講,分享前沿研判與最新實(shí)踐。
通過峰會(huì)次日的嘉賓分享和觀點(diǎn)碰撞,我們看到大多數(shù)AI芯片企業(yè)都在積極備戰(zhàn)生成式AI與大模型浪潮帶來的時(shí)代機(jī)遇,嘉賓分享的議題焦點(diǎn)可以歸納為幾個(gè)關(guān)鍵詞:生成式AI、NVIDIA、GPGPU、落地挑戰(zhàn)、架構(gòu)創(chuàng)新、存算一體。
無論是大算力AI芯片還是高能效AI芯片,都面臨存儲(chǔ)墻、功耗墻等共通的傳統(tǒng)架構(gòu)痼疾,也正分別從核心應(yīng)用場(chǎng)景的迫切之需出發(fā),通過廣聯(lián)生態(tài)伙伴、優(yōu)化軟硬協(xié)同,更大程度挖掘芯片性能的潛能,探索不依賴先進(jìn)制程來實(shí)現(xiàn)性能提升、能效提升的新路徑、新解法。
一、破解大模型落地挑戰(zhàn),大算力芯片亮出三項(xiàng)關(guān)鍵技術(shù)
大模型落地進(jìn)程已經(jīng)提速,但其與算力供應(yīng)之間的差距目前沒有被彌合,國產(chǎn)大算力芯片正在通過不同的技術(shù)路徑發(fā)起沖鋒,提高芯片能效比的同時(shí)加速大模型落地。
1、GPGPU加速大模型訓(xùn)練,用開源解決人、錢、時(shí)間難題
上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授梁曉峣談道,大家在AI大時(shí)代淘金,賣鏟子的NVIDIA“賺錢賺的最多”。他認(rèn)為,包含CUDA Core和Tensor core(張量計(jì)算核心)的V100這代GPGPU,幫助NVIDIA奠定AI時(shí)代算力基座的行業(yè)地位。當(dāng)谷歌、特斯拉等芯片公司拿出比NVIDIA更有效的矩陣計(jì)算方式后,NVIDIA為了鞏固自己在人工智能時(shí)代的霸主地位,在數(shù)制、稀疏性、互聯(lián)、內(nèi)存帶寬等方面進(jìn)行了多項(xiàng)革新。此外,NVIDIA構(gòu)建的涵蓋編程語言、運(yùn)行環(huán)境等完善的軟件生態(tài)是讓芯片好用的“護(hù)城河”。
芯片生態(tài)從軟件廠商圍繞核心芯片(架構(gòu))開發(fā)“領(lǐng)域?qū)S密浖卑l(fā)展到芯片廠商圍繞核心軟件(框架)開發(fā)“領(lǐng)域?qū)S眯酒?,直到現(xiàn)在芯片廠商和大模型公司圍繞核心應(yīng)用開發(fā)“領(lǐng)域?qū)S孟到y(tǒng)”。梁曉峣提到,當(dāng)競(jìng)爭(zhēng)對(duì)手領(lǐng)先時(shí),可以用開源的方式解決資金、人才和時(shí)間的問題。開源也被證明是當(dāng)對(duì)手特別強(qiáng)大時(shí),較為有效的突圍方式。
去年,梁曉峣團(tuán)隊(duì)推出自研開源GPGPU平臺(tái)“青花瓷”,支持大規(guī)模并行通用計(jì)算。梁曉峣解釋道,說的直接點(diǎn)就是除了游戲,希望NVIDIA的芯片能做的“青花瓷”都能做,同時(shí)還特別重視對(duì)NVIDIA GPGPU產(chǎn)品的兼容。他補(bǔ)充說,“青花瓷”平臺(tái)完全免費(fèi)開放,這一平臺(tái)最主要目的是為行業(yè)提供GPGPU架構(gòu)參考設(shè)計(jì),開放給企業(yè)、高校進(jìn)行基礎(chǔ)研究、實(shí)踐平臺(tái)、突破創(chuàng)新。
▲上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授梁曉峣
在產(chǎn)業(yè)界,壁仞科技也認(rèn)同高性能GPGPU是訓(xùn)練GPT大模型的關(guān)鍵。一方面,大模型在計(jì)算機(jī)體系結(jié)構(gòu)中面臨計(jì)算、通信、存儲(chǔ)、并行擴(kuò)展、穩(wěn)定可靠五大挑戰(zhàn);另一方面,還要解決用戶視角下,存得下、易擴(kuò)展、易使用三大“溫飽”需求,以及高性能、低成本、低延時(shí)三大“小康”需求。
針對(duì)這些挑戰(zhàn)和需求,壁仞科技打造了面向大模型的軟硬一體全棧優(yōu)化的解決方案,包括高性能集群、機(jī)器學(xué)習(xí)平臺(tái)suCloud、加速庫、訓(xùn)練框架和推理引擎、超大模型框架、算法/應(yīng)用六層架構(gòu)。壁仞科技系統(tǒng)架構(gòu)副總裁丁云帆談道,高性能通用GPU是訓(xùn)練GPT大模型的關(guān)鍵算力基礎(chǔ),互聯(lián)帶寬/拓?fù)涫侵蜧PT大模型分布式高效擴(kuò)展的關(guān)鍵,基于自研BR104 GPU的主流量產(chǎn)產(chǎn)品壁勵(lì)104,壁仞科技可構(gòu)建千卡GPU集群,并結(jié)合大模型分布式策略優(yōu)化助力大模型創(chuàng)新落地。另外壁仞科技還與產(chǎn)業(yè)界的框架、模型伙伴、科研機(jī)構(gòu)、高校等緊密合作打造大模型產(chǎn)學(xué)研用生態(tài)。
▲壁仞科技系統(tǒng)架構(gòu)副總裁丁云帆
2、傳統(tǒng)架構(gòu)難突破帶寬、成本瓶頸,大模型時(shí)代亟需超越GPU新架構(gòu)
“大模型本質(zhì)是對(duì)知識(shí)的壓縮和對(duì)輸入的反饋,即存算一體、以存代算。”千芯科技董事長(zhǎng)陳巍談道,“LLM/MLM的開源資源、部署訓(xùn)練架構(gòu)、算力成本成為大模型應(yīng)用落地和企業(yè)盈虧的關(guān)鍵分水嶺?!?/strong>
陳巍介紹了幾種典型的商用大模型存算一體架構(gòu)落地情況,并指出”特斯拉的Dojo芯片使用了近存計(jì)算架構(gòu)優(yōu)化數(shù)據(jù)通道,或是為大模型量身定制“,”微軟三星等科技巨頭正在投資存算一體芯片企業(yè)“。
Habana中國區(qū)負(fù)責(zé)人于明揚(yáng)一上臺(tái)便放話:演講不摻廣告,都是真實(shí)體驗(yàn)?!拔覀冋J(rèn)為,每個(gè)Billion(十億)的參數(shù)規(guī)模,在有限時(shí)間范圍內(nèi)要把訓(xùn)練做好,基本需要的算力大概在16卡?!?/p>
他談到大模型給硬件層帶來壓力,對(duì)單卡的算力、內(nèi)存、服務(wù)器互聯(lián)方案、集群長(zhǎng)時(shí)間穩(wěn)定運(yùn)行等提出更高要求。在大模型發(fā)展過程中,上層框架及軟件生態(tài)扮演的角色越來越重要。傳統(tǒng)模型很大程度需要CUDA的資源進(jìn)行訓(xùn)練,但大模型時(shí)代更多強(qiáng)調(diào)高層框架軟件生態(tài)——如何解決集群管理與穩(wěn)定性、訓(xùn)練過程中的并行化要求等。
于明揚(yáng)總結(jié)了面向大模型高效訓(xùn)練和推理的一些選擇,包括計(jì)算速度、高速存儲(chǔ)、高擴(kuò)展性、易用性、高能效、高性價(jià)比。在大模型時(shí)代,企業(yè)如果能很好地針對(duì)框架做優(yōu)化,有機(jī)會(huì)繞開CUDA生態(tài)墻,打破NVIDIA在市場(chǎng)上一家獨(dú)大的局面。
▲Habana中國區(qū)負(fù)責(zé)人于明揚(yáng)
GPU、CPU之外,英國芯片公司Graphcore(擬未科技)提出了IPU架構(gòu),支持FP8浮點(diǎn)運(yùn)算,基于此來應(yīng)對(duì)對(duì)話式AI的時(shí)延、應(yīng)用成本與能耗的挑戰(zhàn)。早在2018年,AI教父Geoff Hinton就看到了IPU架構(gòu)的潛力,他在接受采訪時(shí)以Graphcore的IPU芯片為例,大力倡導(dǎo)為構(gòu)建功能更像大腦的機(jī)器學(xué)習(xí)系統(tǒng)轉(zhuǎn)向不同類型的計(jì)算機(jī)。
Graphcore中國區(qū)產(chǎn)品總負(fù)責(zé)人朱江提到,IPU采用了大規(guī)模并行的多指令多數(shù)據(jù)架構(gòu),并極大地?cái)U(kuò)展了片上SRAM的大小,使得片內(nèi)存儲(chǔ)吞吐量達(dá)到65TB/s。這樣大規(guī)模的片上存儲(chǔ)和分布式設(shè)計(jì),可以極大地提高訪存帶寬和內(nèi)存訪問效率,有力地幫助客戶打破內(nèi)存墻的瓶頸。IPU的獨(dú)特設(shè)計(jì)還使其實(shí)現(xiàn)了高效的訪存能耗。同樣是搬運(yùn)一個(gè)byte的數(shù)據(jù),CPU大概需要消耗320pJ,GPU大概需要64pJ,而IPU大概需要1pJ。此外,Graphcore推出的Bow IPU還采用了WoW的先進(jìn)封裝,并在支持?jǐn)?shù)據(jù)類型上進(jìn)行了投入,成為業(yè)內(nèi)最早支持FP8精度的硬件之一。
▲Graphcore中國區(qū)產(chǎn)品總負(fù)責(zé)人朱江
3、產(chǎn)業(yè)鏈創(chuàng)新:編譯器+EDA平臺(tái),提高AI芯片適配性
大模型應(yīng)用與算力之間的差距,加速了企業(yè)在兩者間構(gòu)建“橋梁”,縮小其中差距的步伐。
中科加禾創(chuàng)始人崔慧敏認(rèn)為,大模型讓國產(chǎn)AI芯片面臨的生態(tài)困境更加凸顯,編譯器成為一大破解之道。簡(jiǎn)單來說,編譯器是用于將機(jī)器語言翻譯為人類語言的工具,在AI芯片產(chǎn)業(yè)鏈中,相當(dāng)于AI芯片與AI用戶之間的“橋梁”。
在GPU時(shí)代,編譯器大家主要使用的是NVIDIA的CUDA編譯器。隨著AI時(shí)代到來,編譯器的內(nèi)涵和外延進(jìn)一步擴(kuò)大,涉及了圖、張量、指令、圖算融合等不同層面的編譯。
大模型時(shí)代,編譯器能夠促進(jìn)芯片性能提升、跨平臺(tái)優(yōu)化及安全性增強(qiáng)。崔慧敏談道,在性能方面,編譯技術(shù)可以發(fā)掘更激進(jìn)的融合策略,進(jìn)一步全局對(duì)計(jì)算、同步進(jìn)行重排優(yōu)化,為模型推理側(cè)帶來最高2~3倍的性能提升;在跨平臺(tái)方面,中科加禾認(rèn)為基于機(jī)器模型可以有效支撐編譯優(yōu)化的跨平臺(tái)表現(xiàn);在安全方面,編譯技術(shù)能以很低的開銷來實(shí)現(xiàn)軟件TEE,增強(qiáng)安全性。
目前,中科加禾正聚焦搭建對(duì)不同芯片都適用的工具集,通過組件化服務(wù)助力AI芯片完成生態(tài)遷移等目標(biāo),并計(jì)劃在2023年12月推出跨平臺(tái)大模型推理引擎。
▲中科加禾創(chuàng)始人崔慧敏
單芯片SoC向新型“SoC”(System of Chiplets)架構(gòu)演進(jìn)過程中,芯和半導(dǎo)體產(chǎn)品應(yīng)用總監(jiān)蘇周祥談道,Chiplet對(duì)單顆SoC的拆分、組合和架構(gòu)規(guī)劃問題,給傳統(tǒng)的設(shè)計(jì)流程帶來了很大的挑戰(zhàn)。
他認(rèn)為,Chiplet從系統(tǒng)最初的設(shè)計(jì)到最終的嵌合簽核,都需要新的工具、新的思路和新的方法學(xué)。芯和半導(dǎo)體給出的答案是一個(gè)圍繞Chiplet產(chǎn)業(yè)的全新EDA平臺(tái),蘇周祥說道,全新平臺(tái)需要支持系統(tǒng)級(jí)連接、堆棧管理、層次化設(shè)計(jì),還需要在物理實(shí)現(xiàn)方面協(xié)同設(shè)計(jì)環(huán)境、支持各領(lǐng)域的工具、多芯片3D布局規(guī)劃和布線。
因此,芯和半導(dǎo)體推出專為3DIC Chiplet量身定做的仿真全流程EDA平臺(tái),這是一個(gè)針對(duì)Chiplet的完整的包括設(shè)計(jì)、SI/PI/多物理場(chǎng)分析的解決方案。該平臺(tái)擁有AI驅(qū)動(dòng)的網(wǎng)格剖分技術(shù),以及云計(jì)算加載的分布式并行計(jì)算能力,還支持裸芯片、中介層和基板的聯(lián)合仿真引擎技術(shù)。
▲芯和半導(dǎo)體產(chǎn)品應(yīng)用總監(jiān)蘇周祥
二、遍地能跑大模型!解讀高能效AI芯片三大趨勢(shì)
大模型強(qiáng)大的內(nèi)容生成、理解能力,使得其在云邊端的多類型應(yīng)用場(chǎng)景出現(xiàn),不同場(chǎng)景為高能效AI芯片提出了新要求。邊緣AI芯片對(duì)低功耗、高性能的需求增長(zhǎng);大模型對(duì)容量和帶寬既要又要,存算一體芯片的存儲(chǔ)介質(zhì)如何選擇。
這一背景下,高能效AI芯片的發(fā)展呈現(xiàn)出三大趨勢(shì),分別是為大模型構(gòu)建低功耗AI網(wǎng)絡(luò),通過存內(nèi)計(jì)算突破功耗墻和存儲(chǔ)墻問題,以及邊緣端的智能視覺處理芯片需求增長(zhǎng)。
1、算力方案構(gòu)建低功耗AI網(wǎng)絡(luò),大小模型或在云邊端協(xié)同進(jìn)化
智芯科聯(lián)合創(chuàng)始人&CEO顧渝驄談道,大模型發(fā)展會(huì)面臨兩方面瓶頸,大數(shù)據(jù)和大模型所產(chǎn)生的顯存墻問題(模型是否能跑起來)以及計(jì)算墻(能否在合理時(shí)間內(nèi)完成推理)問題。他認(rèn)為,存內(nèi)計(jì)算是解決這兩大難題的有效解法,相比于GPU能更有效地利用數(shù)據(jù),降低功耗;更高效地讀取寫入數(shù)據(jù);集成存儲(chǔ)和計(jì)算,提供更大內(nèi)存容量。智芯科計(jì)劃基于精度無損SRAM的存內(nèi)計(jì)算CIM推出針對(duì)大模型的900系列芯片,有望替代NVIDIA在專有云、推理側(cè)的應(yīng)用。
大模型帶來的算力爆發(fā)遠(yuǎn)超摩爾定律,同時(shí)大功耗算力設(shè)施帶來的碳排放量巨大,因此,邁特芯希望做一款低功耗芯片,把功耗降下來。邁特芯基于立方脈動(dòng)并行架構(gòu)的存算芯片來滿足大模型部署。邁特芯創(chuàng)始人兼CEO黃瀚韜談道,通過用更低的bit來表示GPT-3的主要數(shù)據(jù),可以將大模型參數(shù)規(guī)模變小,邁特芯可在ChatGLM2-6B大模型上用INT4和INT2算力,達(dá)到跟ChatGLM2-6BFP16相當(dāng)?shù)耐评硭?。在架?gòu)方面,邁特芯針對(duì)大模型算法搭建立方單元架構(gòu),通過立方脈動(dòng)陣列實(shí)現(xiàn)高強(qiáng)度并行計(jì)算,其解決方案能兼顧高通量和低功耗。
▲邁特芯創(chuàng)始人兼CEO黃瀚韜
在原粒半導(dǎo)體聯(lián)合創(chuàng)始人原鋼看來,隨著大模型蒸餾技術(shù)發(fā)展,超大模型可以生成一系列適合邊端的小模型,取得接近于大模型的效果。原粒半導(dǎo)體基于AI Chiplet把SoC算力跟NPU(神經(jīng)網(wǎng)絡(luò)處理器)的AI算力解綁,再靈活組合出邊緣端芯片,以適配邊緣端大模型的推理要求。目前,原粒半導(dǎo)體已研發(fā)出多模態(tài)算力核心CalCore技術(shù),支持企業(yè)將大模型部署在端側(cè);以及自適應(yīng)算力融合CalFusion技術(shù),自動(dòng)分配芯粒以捆綁不同的算力。
▲原粒半導(dǎo)體聯(lián)合創(chuàng)始人原鋼
全球邊緣計(jì)算市場(chǎng)規(guī)模不斷擴(kuò)大,但因場(chǎng)景、芯片平臺(tái)、算力需求碎片化等痛點(diǎn)使得其算法投入產(chǎn)出往往不成正比,這有望依托于大模型強(qiáng)大的圖像、語言理解、場(chǎng)景泛化能力得到突破。同時(shí),云天勵(lì)飛副總裁、芯片業(yè)務(wù)線總經(jīng)理李愛軍提到,邊緣計(jì)算芯片設(shè)計(jì)需要考慮SoC集成、算力可靈活擴(kuò)展芯片架構(gòu)、統(tǒng)一的工具鏈架構(gòu)、隱私保護(hù)等方面因素。云天勵(lì)飛基于其自研算法開發(fā)平臺(tái)和算法芯片化平臺(tái),訓(xùn)練了“云天書”大模型,推出內(nèi)置云天勵(lì)飛第四代神經(jīng)網(wǎng)絡(luò)處理器的新一代邊緣計(jì)算芯片DeepEdge10,能滿足大模型部署需要。
▲云天勵(lì)飛副總裁、芯片業(yè)務(wù)線總經(jīng)理李愛軍
2、多存儲(chǔ)介質(zhì)方案迸發(fā),存算一體突破功耗、存儲(chǔ)瓶頸
當(dāng)前大模型對(duì)容量和帶寬既要又要,存算一體芯片正處于多種存儲(chǔ)介質(zhì)百花齊放的格局。
千芯科技將不同類型存儲(chǔ)器融合到統(tǒng)一存算架構(gòu)(UMCA),可為客戶的應(yīng)用場(chǎng)景提供SRAM、Flash、RRAM多種存算芯片方案;通過多處理器融合,使存算一體保持大算力高能效,同步獲得CPU、GPGPU的通用生態(tài)能力。其存算一體架構(gòu)不依賴先進(jìn)工藝,可基于成熟工藝達(dá)到先進(jìn)算力;并提供芯片級(jí)算法壓縮技術(shù),方便大模型客戶無感使用量化剪枝稀疏等壓縮技術(shù)來達(dá)到降本增效的目標(biāo)。
▲千芯科技董事長(zhǎng)陳巍
智芯科聚焦的是SRAM,智芯科聯(lián)合創(chuàng)始人&CEO顧渝驄提到,他們將推出針對(duì)大模型的900系列,該系列可以提供1000-2000TOPS的算力,為邊緣側(cè)大模型推理提供算力,功耗為150W,采用12nm制程,價(jià)格遠(yuǎn)低于NVIDIA。
此外還有推出基于SRAM純數(shù)字及模數(shù)混合架構(gòu)的多重融合存內(nèi)計(jì)算技術(shù)的九天睿芯。九天睿芯副總裁袁野談道,AIGC在內(nèi)容生成之外,還帶來AR/VR、具身智能、外部感知信號(hào)鏈等的全面升級(jí),其采用的混合架構(gòu)模式,能實(shí)現(xiàn)有效精度計(jì)算,CIMD(純數(shù)字存內(nèi)計(jì)算)+CIMX(模數(shù)混合純內(nèi)計(jì)算)兩種存算架構(gòu)在芯片方面融合,能支持訓(xùn)練+推理一體應(yīng)用,并使性能最大化。此外,存內(nèi)計(jì)算可以通過互聯(lián)、疊加實(shí)現(xiàn)更大算力,九天睿芯已積累多個(gè)智能信號(hào)鏈(智能感知/互聯(lián))的基礎(chǔ)IP,并啟動(dòng)告訴互聯(lián)接口技術(shù)研發(fā),為實(shí)現(xiàn)大算力做準(zhǔn)備。
▲九天睿芯副總裁袁野
在知存科技業(yè)務(wù)拓展副總裁詹慕航看來,AI神經(jīng)網(wǎng)絡(luò)或者CNN矩陣運(yùn)算、卷積運(yùn)算的核心就是矩陣乘法/乘加運(yùn)算,越典型的大模型越需要矩陣運(yùn)算,便越適合存內(nèi)計(jì)算的方式,將“存”和“算”結(jié)合,一次性并行完成。因此,知存科技選擇使用Flash存儲(chǔ)器完成AI神經(jīng)網(wǎng)絡(luò)的儲(chǔ)存和運(yùn)算,以解決存儲(chǔ)墻問題。
知存科技推出的WTM-2端側(cè)AI芯片,具備極低功耗、極低延遲,其已量產(chǎn)的國際首顆存內(nèi)計(jì)算芯片WTM2101功耗僅5uA-3mA,兼具高算力,適用端側(cè)智能物聯(lián)網(wǎng)場(chǎng)景。下一步,知存科技還將針對(duì)視頻增強(qiáng)場(chǎng)景推出WTM-8系列芯片,該系列芯片具備4核存算MPU,單核提升算力80倍,提升效率10倍。
▲知存科技業(yè)務(wù)拓展副總裁詹慕航
3、3D視覺應(yīng)用滲透加速,創(chuàng)新方案1個(gè)大腦指揮8只眼睛
肇觀電子CEO馮歆鵬認(rèn)為,隨著視覺技術(shù)從2D向3D發(fā)展,智能3D視覺應(yīng)用將滲透到全行業(yè),且路線圖可以往五十年以后延伸。但硬件成像限制和AI感知局限是3D視覺行業(yè)繞不開的痛點(diǎn),馮歆鵬談道,為了解決上述問題,肇觀電子積累了3D、VSLAM、AI和OCR光學(xué)字符識(shí)別等多項(xiàng)機(jī)器視覺核心技術(shù)。其中,肇觀電子3D深度相機(jī)能適用冷庫機(jī)器人在-18℃的環(huán)境里啟動(dòng)“眼睛”完成任務(wù)等極限場(chǎng)景,他還提到,部分海外巨頭的機(jī)器視覺技術(shù)甚至無法在低溫環(huán)境里開機(jī)。
▲肇觀電子CEO馮歆鵬
諾磊科技推出的集成CIS+AI+MCU光譜識(shí)別功能的感算一體AI光譜分析芯片陣列技術(shù)“Eye with Brain”,能做到“1個(gè)眼睛照顧8個(gè)大腦”,還能實(shí)現(xiàn)對(duì)多頻段光譜的檢測(cè)與分析。有別于AI業(yè)界的傳統(tǒng)算法,諾磊科技的產(chǎn)品配合高度集成機(jī)器影像辨識(shí)傳感器,能獨(dú)立運(yùn)行實(shí)現(xiàn)影像偵測(cè)、追蹤及識(shí)別。諾磊科技創(chuàng)始人、CEO Raymond Wu提到,諾磊科技在首款110nm工藝量產(chǎn)芯片NB1001上,結(jié)合WLO(晶圓級(jí)光學(xué))技術(shù),將光學(xué)元件集成到半導(dǎo)體晶圓上,設(shè)計(jì)為類似于麥克風(fēng)陣列的光譜檢測(cè)陣列。
Raymond Wu還提到,曾經(jīng)一枝獨(dú)秀的影像解決方案CCD由于系統(tǒng)體積大、成本高、功耗大、落地難逐漸被CIS(CMOS圖像傳感器)取代。這與當(dāng)下AI應(yīng)用有相似性,他認(rèn)為高算力并不是能百分之百解決所有AI應(yīng)用的手段,AI應(yīng)用的算力需求取決于具體應(yīng)用的場(chǎng)景,單一化應(yīng)用沒有必要做復(fù)雜的AI芯片。
▲諾磊科技創(chuàng)始人、CEO Raymond Wu
結(jié)語:云邊端AI芯片熱戰(zhàn)大模型,2023全球AI芯片峰會(huì)升級(jí)
2023全球AI芯片峰會(huì)第二天,云邊端AI芯片熱戰(zhàn)大模型的戰(zhàn)況更盛。
一方面,面向大模型的海量算力需求,國產(chǎn)大算力芯片廠商已經(jīng)發(fā)起技術(shù)沖鋒。GPGPU廠商從芯片設(shè)計(jì)、解決方案和生態(tài)多方面加快大模型場(chǎng)景落地,國內(nèi)外的AI芯片廠商試圖用創(chuàng)新架構(gòu)打破NVIDIA一家獨(dú)大局面,此外上下游產(chǎn)業(yè)鏈也在通過編譯器、EDA等技術(shù)的創(chuàng)新為AI芯片性能提供“放大器”。
另一方面,大模型的落地場(chǎng)景正從云端延伸至邊緣側(cè)、端側(cè),使得國內(nèi)一批高能效AI芯片廠商看到了市場(chǎng)發(fā)展機(jī)遇。通過存內(nèi)計(jì)算、立方單元架構(gòu)、Chiplet等不同創(chuàng)新架構(gòu),AI芯片廠商不約而同地探索降低AI芯片能耗和算力成本的最短路徑,從而為大模型的規(guī)?;涞靥峁l件。隨著大模型在端側(cè)、邊緣側(cè)的部署門檻降低,大小模型有望實(shí)現(xiàn)更好的協(xié)同,從而促進(jìn)AI落地產(chǎn)業(yè)的深度和廣度大大加強(qiáng)。
通過第二天的峰會(huì),我們可以看到以下五大產(chǎn)業(yè)發(fā)展趨勢(shì)值得關(guān)注:
1、作為首屈一指的芯片巨頭,NVIDIA通過在數(shù)值、稀疏性、互聯(lián)、內(nèi)存帶寬等方面的革新,鞏固了其在AI時(shí)代的霸主地位。對(duì)此,國內(nèi)GPGPU廠商可以通過開源的方式解決錢、人、時(shí)間的問題。
2、傳統(tǒng)架構(gòu)難以突破大模型訓(xùn)練中的帶寬和成本瓶頸,市場(chǎng)需要超過NVIDIA GPU的新架構(gòu)。存內(nèi)計(jì)算/邏輯能讓芯片能效大幅提高,突破功耗墻和存儲(chǔ)墻問題,從而以成熟工藝突圍大算力芯片。
3、面向大模型場(chǎng)景,AI芯片廠商需要滿足存得下、易擴(kuò)展、易使用三大溫飽需求,以及易使用、低成本、低延時(shí)三大升級(jí)需求。這需要AI芯片廠商加快技術(shù)架構(gòu)創(chuàng)新,也需要用軟硬一體化解決方案去突破。
4、大模型讓國產(chǎn)AI芯片面臨的生態(tài)困境更加凸顯,需要產(chǎn)業(yè)鏈上下游加快適配。比如通過編譯器創(chuàng)新,產(chǎn)業(yè)能夠促進(jìn)芯片性能提升、跨平臺(tái)優(yōu)化及安全性增強(qiáng);也有企業(yè)打造圍繞Chiplet產(chǎn)業(yè)的全新EDA平臺(tái),為芯片設(shè)計(jì)創(chuàng)新提供支持。
5、大模型正從云端場(chǎng)景向邊緣側(cè)、終端延展。在邊緣側(cè)和終端場(chǎng)景,客戶對(duì)AI芯片的能耗和成本更加敏感。為此,AI芯片領(lǐng)域的玩家通過存內(nèi)計(jì)算、立體單元架構(gòu)、模型稀疏化、Chiplet等路徑降低芯片能耗和成本,支持大模型“下沉”。
結(jié)合前后兩天的2023全球AI芯片峰會(huì)產(chǎn)學(xué)研投領(lǐng)域46+位大佬的交鋒,我們發(fā)現(xiàn),“得算力者得天下”已經(jīng)成為大模型時(shí)代的特征,跳出NVIDIA GPU路徑的新架構(gòu)、新產(chǎn)品越來越多。隨著摩爾定律逼近極限,現(xiàn)實(shí)算力資源與理想算力資源之間存在巨大鴻溝,在NVIDIA之外,市場(chǎng)上已經(jīng)涌現(xiàn)出更多能夠填補(bǔ)市場(chǎng)空白的AI芯片企業(yè),推動(dòng)市場(chǎng)呈現(xiàn)“百花齊放”態(tài)勢(shì)。
從2018年舉辦第一屆開始發(fā)展到今天,全球AI芯片峰會(huì)至今已連續(xù)舉辦五屆,峰會(huì)目前已經(jīng)觸達(dá)到了AI芯片產(chǎn)業(yè)鏈的設(shè)計(jì)、EDA、編譯器等多個(gè)核心重要環(huán)節(jié),覆蓋云邊端等全場(chǎng)景的芯片巨頭和新銳創(chuàng)企,以及來自學(xué)術(shù)圈和投資界的專業(yè)人士。在過去兩天的峰會(huì)中,我們聽到了頂級(jí)AI芯片產(chǎn)學(xué)研用及投融資領(lǐng)域?qū)<覀兊乃枷虢讳h,多元的精彩觀點(diǎn)在這里碰撞。乘風(fēng)新技術(shù)浪潮,全球AI芯片峰會(huì)已經(jīng)成為國內(nèi)極少數(shù)專注在AI芯片領(lǐng)域且具有較大影響力的行業(yè)峰會(huì)。
在接下來幾周里,芯東西將陸續(xù)輸出新鮮的干貨圖文,并放送多個(gè)精彩主題演講的圖文速記整理,具體請(qǐng)關(guān)注芯東西與智東西公眾號(hào)推送內(nèi)容。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 2025醫(yī)藥數(shù)智營(yíng)銷創(chuàng)新峰會(huì)“金創(chuàng)獎(jiǎng)”獎(jiǎng)項(xiàng)申報(bào)啟動(dòng)!
- 2024第五屆亞太銀行數(shù)字化創(chuàng)新大會(huì)圓滿落幕
- 2024年被稱為“低空經(jīng)濟(jì)元年”!倒計(jì)時(shí)15天 | 2025中國eVTOL創(chuàng)新發(fā)展大會(huì)報(bào)名中
- 匯聚技術(shù)星火 點(diǎn)亮生態(tài)星空
- GTF2025攜航空和燃?xì)廨啓C(jī)全產(chǎn)業(yè)鏈優(yōu)勢(shì)資源全新回歸上海
- 潮玩風(fēng)暴來襲,2025 ChinaJoy 潮玩手辦及模型展區(qū)招商火爆!
- 普渡機(jī)器人發(fā)布首款全人形機(jī)器人PUDU D9
- 【創(chuàng)新金融驅(qū)動(dòng)力】2025中原金融科技節(jié)擘畫中原金融科技新未來!
- 年底聚會(huì)!談思汽車AutoFusa功能安全行業(yè)年會(huì)沙龍火熱報(bào)名中~~
- 金屏獎(jiǎng) | 2024識(shí)變拓新,2025蓄勢(shì)前行
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。