6月16日，在人工智能框架生態(tài)峰會(huì)2023上，中國(guó)科學(xué)院自動(dòng)化研究所所長(zhǎng)徐波正式發(fā)布“紫東.太初”全模態(tài)大模型。
“紫東.太初”全模態(tài)大模型是在千億參數(shù)多模態(tài)大模型“紫東.太初”1.0基礎(chǔ)上升級(jí)打造的2.0版本，在語(yǔ)音、圖像和文本三模態(tài)的基礎(chǔ)上，加入視頻、信號(hào)、3D點(diǎn)云等模態(tài)數(shù)據(jù)，研究突破了認(rèn)知增強(qiáng)的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù)，具備全模態(tài)理解能力、生成能力和關(guān)聯(lián)能力，面向數(shù)字經(jīng)濟(jì)時(shí)代加速通用人工智能的實(shí)現(xiàn)。
會(huì)上，徐波首次對(duì)外實(shí)時(shí)展示了大模型在音樂理解與生成、三維場(chǎng)景導(dǎo)航、信號(hào)理解、多模態(tài)對(duì)話等方面的全新功能，并邀請(qǐng)現(xiàn)場(chǎng)觀眾與大模型即時(shí)互動(dòng)?！白蠔|.太初”全模態(tài)認(rèn)知大模型不僅可以透過《月光曲》暢談貝多芬的故事，也可以在三維場(chǎng)景里實(shí)現(xiàn)精準(zhǔn)定位，還能夠通過圖像與聲音的結(jié)合完成場(chǎng)景分析，在現(xiàn)場(chǎng)獲得了熱烈反響。
從多模態(tài)到全模態(tài)的持續(xù)探索
人類在認(rèn)知世界時(shí)，往往同時(shí)涉及語(yǔ)音、圖像、文字等信息。機(jī)器需要實(shí)現(xiàn)更高水平的智能，就需要像人一樣，發(fā)展貫通圖、文、音等更多模態(tài)的大模型。自2019年起，中國(guó)科學(xué)院自動(dòng)化研究所（以下簡(jiǎn)稱“自動(dòng)化所”）即堅(jiān)持以“圖-音-文”多模態(tài)技術(shù)為核心，確立多模態(tài)大模型布局，整合所內(nèi)圖像、文本、語(yǔ)音等研究方向的優(yōu)勢(shì)資源開展集團(tuán)式攻關(guān)，于2021年9月成功打造“紫東太初”1.0多模態(tài)大模型?！白蠔|.太初”1.0助推人工智能從“一專一能”邁向“多專多能”，向發(fā)展通用人工智能邁出了堅(jiān)實(shí)的第一步。
以此為基礎(chǔ)，“紫東.太初”大模型的多模態(tài)探索仍在持續(xù)深入。邁入數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)的范疇不斷拓寬，不僅包含人類自身產(chǎn)生的語(yǔ)音、圖像、文字等數(shù)據(jù)，還有機(jī)器產(chǎn)生的大量結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)。針對(duì)新需求與新趨勢(shì)，“紫東.太初”2.0在語(yǔ)音、圖像和文本之外，加入了視頻、信號(hào)、3D點(diǎn)云等更多模態(tài)，從技術(shù)架構(gòu)上實(shí)現(xiàn)了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的全模態(tài)開放式接入；突破了能對(duì)信息進(jìn)行充分理解和靈活生成的多模態(tài)分組認(rèn)知編解碼技術(shù)，能融合多個(gè)任務(wù)的認(rèn)知增強(qiáng)多模態(tài)關(guān)聯(lián)技術(shù)等，大模型多模態(tài)認(rèn)知能力大幅提升。
“紫東.太初”2.0可以理解三維場(chǎng)景、信號(hào)等數(shù)字物聯(lián)時(shí)代的重要信息，完成了音樂、圖片和視頻等數(shù)據(jù)之間的跨模態(tài)對(duì)齊，能夠處理音樂視頻分析、三維導(dǎo)航等多模態(tài)關(guān)聯(lián)應(yīng)用需求，并可實(shí)現(xiàn)音樂、視頻等多模態(tài)內(nèi)容理解和生成。從1.0到2.0，“紫東.太初”大模型打通了感知、認(rèn)知乃至決策的交互屏障，使人工智能進(jìn)一步感知世界、認(rèn)知世界，從而延伸出更加強(qiáng)大的通用能力。
打造全棧國(guó)產(chǎn)化通用人工智能底座
“紫東.太初”2.0以自動(dòng)化所自研算法為核心，以昇騰AI硬件及昇思MindSpore AI框架為基礎(chǔ)，依托武漢人工智能計(jì)算中心算力支持，著力打造全棧國(guó)產(chǎn)化通用人工智能底座。長(zhǎng)期以來，強(qiáng)大的算力支撐是約束我國(guó)人工智能發(fā)展的瓶頸之一，以“紫東.太初”大模型為領(lǐng)頭雁開展的創(chuàng)新實(shí)踐將有力推動(dòng)國(guó)產(chǎn)基礎(chǔ)軟硬件與大模型技術(shù)的適配，協(xié)同構(gòu)建我國(guó)通用人工智能自主可控發(fā)展生態(tài)。
全模態(tài)賦能，產(chǎn)業(yè)應(yīng)用前景廣闊
目前，“紫東.太初”大模型已展現(xiàn)出廣闊的產(chǎn)業(yè)應(yīng)用前景，在神經(jīng)外科手術(shù)導(dǎo)航、短視頻內(nèi)容審核、法律咨詢、醫(yī)療多模態(tài)鑒別診斷、交通違規(guī)圖像研讀等領(lǐng)域開始了一系列引領(lǐng)性、示范性應(yīng)用。
在醫(yī)療場(chǎng)景，“紫東.太初”大模型部署于神經(jīng)外科機(jī)器人MicroNeuro，可實(shí)現(xiàn)在術(shù)中實(shí)時(shí)融合視覺、觸覺等多模態(tài)信息，協(xié)助醫(yī)生對(duì)手術(shù)場(chǎng)景進(jìn)行實(shí)時(shí)推理判斷。同時(shí)與北京協(xié)和醫(yī)院合作，利用“紫東.太初”具備的較強(qiáng)邏輯推理能力，嘗試在人類罕見病診療這個(gè)挑戰(zhàn)性醫(yī)學(xué)領(lǐng)域有所突破。
徐波表示，自動(dòng)化所以“紫東.太初”大模型為基礎(chǔ)，持續(xù)探索與類腦智能、博弈智能等技術(shù)路徑的相互融合，最終實(shí)現(xiàn)可自主進(jìn)化的通用人工智能。并將探索在更多領(lǐng)域發(fā)揮賦能價(jià)值，為促進(jìn)我國(guó)數(shù)字經(jīng)濟(jì)快速發(fā)展貢獻(xiàn)力量。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
