5月30日消息,ChatGPT成為史上增長最快的消費(fèi)類應(yīng)用。這背后,是ChatGPT代表的高階人工智能表現(xiàn)對人們的沖擊。
ChatGPT使用的Transformer架構(gòu)是以自監(jiān)督的方式預(yù)訓(xùn)練的,作為基于GPT(Generative Pre-trained Transformer)預(yù)訓(xùn)練語言模型的消費(fèi)類產(chǎn)品,ChatGPT的成功也讓技術(shù)圈看到了Transformer的巨大潛力。
越來越多AI研究領(lǐng)域(例如,CV(計(jì)算機(jī)視覺)領(lǐng)域)開始把自監(jiān)督方式預(yù)訓(xùn)練的Transformer用在各大應(yīng)用場景,以期待產(chǎn)生類似ChatGPT的智能涌現(xiàn)。
然而Transformer模型往往需要巨大量的參數(shù),才能出現(xiàn)所謂的“智能涌現(xiàn)”。因此,目前較為成功的GPT模型,大都是在“云端”進(jìn)行訓(xùn)練和落地。
但是可以預(yù)見的是,未來要想讓GPT模型應(yīng)用產(chǎn)品在消費(fèi)級市場有廣泛應(yīng)用和發(fā)展,解決在端側(cè)、邊緣側(cè)高效部署Transformer將是關(guān)鍵一環(huán)。
專注研究人工智能視覺感知芯片的愛芯元智技術(shù)團(tuán)隊(duì)敏銳的看到了這一市場機(jī)會(huì),對其第三代高算力、高能效比的SoC芯片——AX650N進(jìn)行了優(yōu)化,經(jīng)測試,優(yōu)化后的AX650N已成為業(yè)內(nèi)首屈一指的Transformer端側(cè)、邊緣側(cè)落地平臺(tái)。
這也就意味著,對于那些有在端側(cè)、邊緣側(cè)部署Transformer模型以提升圖形圖像識(shí)別精度的企業(yè)(比如機(jī)器人、自動(dòng)駕駛企業(yè)等)來說,現(xiàn)在,借助AX650N就能實(shí)現(xiàn)Transformer模型落地、提升其視覺能力。
承載Transformer大模型 AX650N表現(xiàn)如何?
相比于在云端用GPU部署Transformer大模型,在邊緣側(cè)、端側(cè)部署Transformer最大的挑戰(zhàn)則來自功耗。
AX650N是愛芯元智于2023年3月推出了第三代高算力、高能效比的SoC芯片,具有高性能、高精度、易部署、低功耗特征。
經(jīng)適配Transformer調(diào)優(yōu)后,愛芯元智技術(shù)團(tuán)隊(duì)的測試數(shù)據(jù)顯示,目前大眾普遍采用的Transformer網(wǎng)絡(luò)SwinT,在愛芯元智AX650N平臺(tái)表現(xiàn)出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗。
具體來看,361幀的高性能可媲美汽車自動(dòng)駕駛領(lǐng)域基于GPU的高端域控SoC;而80.45%的高精度成績同樣高于市面平均水平;199 FPS/W的速度也充分體現(xiàn)出低功耗的特點(diǎn),對比于目前基于GPU的高端域控SoC,有著數(shù)倍的優(yōu)勢。
“AX650N會(huì)對Transformer支持比較好,因?yàn)橛幸粋€(gè)全面優(yōu)化的設(shè)計(jì),還有一個(gè)高性能的多核架構(gòu)。愛芯元智兼具高性能和低功耗特質(zhì)的混合精度NPU在一開始設(shè)計(jì)的時(shí)候,就是一個(gè)異構(gòu)多核的設(shè)計(jì),里面有一個(gè)核具有一定的可編程性,提供靈活性。同時(shí),考慮到有些網(wǎng)絡(luò)對數(shù)據(jù)需求量比較大,在架構(gòu)上做了一些預(yù)留,這樣最終看到的效果是在AX650N上Transformer跑的效果是比較快的?!睈坌驹窍嚓P(guān)技術(shù)負(fù)責(zé)人向TechWeb表示。
同時(shí),AX650N也提供了簡單便捷的部署能力。GitHub上的原版模型可以在愛芯元智的平臺(tái)上高效運(yùn)行,不需要對模型做修改,不需要QAT重新訓(xùn)練。目前,AX650N已適配包括ViT/DeiT、Swin/SwinV2、DETR在內(nèi)的Transformer模型,在DINOv2也達(dá)到30幀以上運(yùn)行結(jié)果,這也使得用戶在下游進(jìn)行檢測、分類、分割等操作更加方便。
與此同時(shí),AX650N支持低比特混合精度,用戶如果采用INT4,可以極大地減少內(nèi)存和帶寬占用率,可以有效控制端側(cè)邊緣側(cè)部署的成本。這些特性都保證了AX650N作為人工智能算力平臺(tái),最終落地效果更好用、更易用,大幅提升了用戶的效率。
據(jù)悉,基于AX650N的產(chǎn)品已經(jīng)在智慧城市,智慧教育,智能制造等計(jì)算機(jī)視覺重要領(lǐng)域發(fā)揮出重要作用。
7月將推出基于AX650N的開發(fā)板——AXera-Pi Pro 供開發(fā)者使用
目前,愛芯元智AX650N針對Transformer結(jié)構(gòu)仍在進(jìn)行持續(xù)優(yōu)化,并且探索更多的Transformer大模型,例如多模態(tài)大模型,不斷讓Transformer在愛芯元智平臺(tái)上得到更好的落地效果。
談及迭代方向,愛芯元智透露的信息包括,針對于Transformer結(jié)構(gòu),怎么能讓硬件讀數(shù)據(jù)的時(shí)候,能夠?qū)﹄x散的數(shù)據(jù)獲得一個(gè)比較高效的讀取以及配套的計(jì)算能夠和數(shù)據(jù)讀取匹配起來。也會(huì)嘗試4比特來解決模型參數(shù)量大的問題等。
值得一提的是,愛芯元智已經(jīng)將在7月推出基于AX650N的開發(fā)板——AXera-Pi Pro,滿足開發(fā)者對Transformer深度研究的需求,探索更豐富的產(chǎn)品應(yīng)用。
愛芯元智方面表示,未來,這塊小板子在電商平臺(tái)上就可以買到,對Transformer感興趣的學(xué)生、工程師或者社區(qū)開發(fā)人員都能夠很方便地購買開發(fā)板,從github上找到軟件的工具以及示例,能快速開發(fā)出自己的一些應(yīng)用,包括用戶想做的一些落地嘗試。
“Transformer之前在NLP方面發(fā)展比較深入,在CV領(lǐng)域是最近這幾月才開始陸陸續(xù)續(xù)有大模型放出來,這塊目前還處于快速發(fā)展過程中?!睈坌驹锹?lián)合創(chuàng)始人、副總裁劉建偉強(qiáng)調(diào),愛芯元智AX650N在承載Transformer落地時(shí)的良好表現(xiàn),算是搶得了“先發(fā)優(yōu)勢”,后續(xù)仍將持續(xù)優(yōu)化產(chǎn)品,加速基于Transformer的大模型在端側(cè)、邊緣側(cè)落地的節(jié)奏。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 李斌回應(yīng)螢火蟲三重奏大燈設(shè)計(jì):沒有參考iPhone
- 一周熱點(diǎn)匯總:特斯拉下月量產(chǎn)改款Model Y,阿里“甩賣”銀泰
- 蔚來第三品牌firefly螢火蟲首款車型正式亮相 預(yù)售價(jià)14.88萬元
- 首發(fā)線控轉(zhuǎn)向等多項(xiàng)技術(shù) 蔚來旗艦車型ET9正式上市:78.8萬元起
- 網(wǎng)信辦:從嚴(yán)打擊網(wǎng)上侵害未成年人合法權(quán)益行為
- 豆包大模型全面升級,相關(guān)概念股瘋漲,字節(jié)發(fā)布緊急警示
- “小紅書封號(hào)”沖上熱搜,小米YU7無偽裝實(shí)車首次曝光
- “小米SU7墜崖一家四口安然無恙”沖上熱搜 車主回應(yīng)
- 奇富科技發(fā)布AI產(chǎn)品小奇等金融AI大模型成果
- 消息稱極越公關(guān)負(fù)責(zé)人被開除 當(dāng)事人回應(yīng)了
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。