2023年5月中旬，OpenAI推出的GPT-4o憑借其突破性的智能交互能力，顛覆了我們對(duì)人機(jī)交互的傳統(tǒng)認(rèn)知，掀起了一股多模態(tài)大模型的新浪潮。3個(gè)月后的今天，國內(nèi)AI領(lǐng)域的獨(dú)角獸企業(yè)云知聲也正式推出了山海多模態(tài)大模型，迎接“Her時(shí)代”的正式到來。

云知聲山海多模態(tài)大模型通過整合跨模態(tài)信息，實(shí)現(xiàn)了文本、音頻、圖像等多種形式輸入的全面兼容，并能夠?qū)崟r(shí)生成文本、音頻和圖像的任意組合輸出，為用戶帶來實(shí)時(shí)多模態(tài)擬人交互體驗(yàn)。

這一模型的發(fā)布預(yù)示著云知聲在AI技術(shù)領(lǐng)域的又一次重大飛躍?；仡?023年5月，云知聲首次發(fā)布了山海大模型，這是其在AGI領(lǐng)域交出的第一張答卷。自發(fā)布以來，山海大模型始終保持高速迭代，不斷在權(quán)威賽事上嶄露頭角。在SuperCLUE中文大模型基準(zhǔn)測評(píng)、MedBench中文醫(yī)療大模型評(píng)測、CCKS 2023醫(yī)療大模型評(píng)測等賽事中，山海大模型屢獲佳績，展現(xiàn)出全面的通用能力和不俗的專業(yè)能力，穩(wěn)居全球大模型的第一梯隊(duì)。

在大模型迭代路上，云知聲深知，雖然山海的語言理解、知識(shí)儲(chǔ)備和邏輯推理能力至關(guān)重要，但推動(dòng)其邁進(jìn)AGI的關(guān)鍵，在于多模態(tài)交互能力的發(fā)展。多模態(tài)交互能力的提升將使山海不再局限于單向的信息處理，而是真正成為一個(gè)能夠深入理解世界、與人類進(jìn)行自然而富有洞察力的交流的智能伙伴。

正是基于這樣的愿景，云知聲在不斷提升山海大模型自然語言處理能力的同時(shí)，也在積極發(fā)展其多模態(tài)能力。在CVPR 2024開放環(huán)境情感行為分析競賽中，云知聲一舉奪得了人臉情緒識(shí)別、復(fù)合情緒識(shí)別、情緒模仿強(qiáng)度估計(jì)三個(gè)賽道的季軍，充分展現(xiàn)了其在情感分析方面的能力。

此次推出的山海多模態(tài)大模型，在語音交互方面更是實(shí)現(xiàn)了質(zhì)的飛躍。它不僅能夠?qū)崟r(shí)秒回、自由插話，與用戶進(jìn)行幾乎無感知延遲的流暢對(duì)話，還支持對(duì)話隨時(shí)打斷，用戶可在對(duì)話中靈活插話，無需等待，交互過程自然不受阻礙。同時(shí)，山海還能通過智能語音技術(shù)感知和表達(dá)情緒，細(xì)致捕捉用戶語音的語氣、節(jié)奏和音調(diào)等微妙變化，從而更準(zhǔn)確地感知對(duì)方情緒狀態(tài)，并像人類一樣予以適當(dāng)?shù)那楦蟹答仭?/p>

除此之外，山海多模態(tài)大模型在視覺交互方面也有著出色的表現(xiàn)。通過攝像頭，它能夠看見周圍環(huán)境，實(shí)現(xiàn)所見即所得的精準(zhǔn)識(shí)別。無論是場景理解分析還是物體信息描述，山海多模態(tài)大模型都能提供全面而深入的分析。同時(shí)，它還具備圖像創(chuàng)意生成的能力，能夠根據(jù)用戶指令快速創(chuàng)建視覺內(nèi)容，并提供符合個(gè)性化需求的定制畫面。

隨著多模態(tài)技術(shù)的深入發(fā)展，云知聲山海多模態(tài)大模型將具備更強(qiáng)的能說能聽會(huì)看的能力，還將進(jìn)一步拓展實(shí)時(shí)語言翻譯、面部情緒分析等更深入的多模態(tài)能力。這些能力的提升將使山海多模態(tài)大模型全方位滿足人們?cè)诠ぷ?、社交、娛樂等方面的多樣化需求，成為人們生活中不可或缺的一部分?/p>

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）