8月22日,“騎到AI背上去”2023釘釘生態(tài)大會(huì)在上海舉辦。在數(shù)字員工專場(chǎng)分論壇上,釘釘副總裁、音視頻事業(yè)部負(fù)責(zé)人趙加雨發(fā)表主題演講,分享了釘釘音視頻在智能化方面的進(jìn)展和應(yīng)用,以及基于釘釘AI PaaS,視頻會(huì)議場(chǎng)域未來(lái)的開(kāi)放展望。
趙加雨談到,釘釘從4月就宣布要全面接入大模型,完成智能化再造,隨著AI與音視頻的結(jié)合越來(lái)越深入,釘釘會(huì)議里也實(shí)現(xiàn)了諸多創(chuàng)新應(yīng)用,除了之前的實(shí)時(shí)翻譯、字幕轉(zhuǎn)寫、智能摘要,這次還發(fā)布了數(shù)字分身代替參會(huì)、自然語(yǔ)言控制會(huì)議操作、文生虛擬背景三項(xiàng)新功能。其中,數(shù)字分身可以在會(huì)議時(shí)間發(fā)生沖突時(shí),替代用戶列席參會(huì),并能實(shí)時(shí)同步相關(guān)會(huì)議信息和結(jié)論。
他表示,未來(lái),釘釘音視頻希望能將更多的場(chǎng)域開(kāi)放給生態(tài)伙伴,共同構(gòu)建豐富的、有價(jià)值的應(yīng)用,提升用戶的體驗(yàn)和效率。同時(shí),釘釘也計(jì)劃將音視頻SDK嵌入生態(tài)伙伴的應(yīng)用中,共同打造優(yōu)質(zhì)、易用的音視頻解決方案,滿足不同行業(yè)和場(chǎng)景的需求。
以下為趙加雨的演講全文:
體驗(yàn)和智能化,是釘釘音視頻事業(yè)部過(guò)去一年兩個(gè)核心的關(guān)鍵詞。
在體驗(yàn)方面,去年我們成立了專項(xiàng),從內(nèi)到外做了大量的優(yōu)化,現(xiàn)在釘釘會(huì)議的整個(gè)界面交互上,會(huì)更美觀、更便捷、更沉浸。同時(shí),在底層技術(shù)架構(gòu)上,從采集、播放、編解碼、網(wǎng)絡(luò)到服務(wù)端,我們也做了全鏈路的優(yōu)化。音視頻尤其是視頻會(huì)議,我們開(kāi)會(huì)的時(shí)候最基本的訴求就是能夠開(kāi)好會(huì),聽(tīng)得到對(duì)方的聲音,所以我們?cè)谝纛l算法、抗弱網(wǎng)方面做了提升,也期待大家可以多使用我們的釘釘會(huì)議。
講到智能化,其實(shí)視頻會(huì)議這個(gè)領(lǐng)域在這次大模型之前,就和AI做了非常多的結(jié)合,在音頻算法、視頻算法中融入了AI技術(shù)。比如,視頻算法相關(guān)的AI應(yīng)用,有美顏、虛擬背景,這些都是大家非常熟悉的場(chǎng)景應(yīng)用。而音頻算法也結(jié)合了AI實(shí)現(xiàn)更好的降噪效果,目前,釘釘會(huì)議上已經(jīng)支持消除300多種常見(jiàn)噪音,比如汽車?yán)嚷?、鍵盤敲擊聲,讓用戶開(kāi)會(huì)更專注。
我們?cè)跁?huì)議里還有一種常見(jiàn)的需求就是字幕,本質(zhì)上也是AI能力。現(xiàn)在釘釘會(huì)議里也全面接入了阿里通義聽(tīng)悟,支持中英日三種語(yǔ)言的互譯,實(shí)現(xiàn)實(shí)時(shí)的轉(zhuǎn)寫和翻譯。此外,還有智能導(dǎo)播,大家在會(huì)議室開(kāi)會(huì)時(shí),如果有線上同事一起加入討論,就會(huì)出現(xiàn)坐得太遠(yuǎn)聽(tīng)不清,或者說(shuō)個(gè)話對(duì)方聽(tīng)不到的情況。我們的蜂鳴鳥音頻實(shí)驗(yàn)室將AI和原創(chuàng)差分陣列技術(shù)相結(jié)合,可以實(shí)現(xiàn)單會(huì)議設(shè)備10米遠(yuǎn)舉例拾音。當(dāng)發(fā)言人說(shuō)話時(shí),支持精準(zhǔn)的聲源定位,實(shí)時(shí)跟蹤并放大他的頭像,讓每個(gè)發(fā)言人都成為C位,營(yíng)造更好的對(duì)話感。
隨著大模型時(shí)代的到來(lái),我們也進(jìn)行了相關(guān)的研究,希望用大模型把釘釘會(huì)議重做一遍。今天釘釘推出了全新的AI PaaS智能化底座,并面向生態(tài)伙伴開(kāi)放。在釘釘會(huì)議里,我們利用AI PaaS也實(shí)現(xiàn)了非常多有意思的功能。
第一,是會(huì)議數(shù)字分身代替開(kāi)會(huì)。職場(chǎng)人士每天都會(huì)面臨文山會(huì)海,文山現(xiàn)在我們通過(guò)智能文檔幫大家解決掉,會(huì)海我們也做了一些嘗試,為用戶提供了數(shù)字分身這個(gè)能力。如果你會(huì)議沖突或者這個(gè)會(huì)議和你的關(guān)聯(lián)度沒(méi)那么高,就可以讓你的數(shù)字分身代替你去開(kāi)。開(kāi)會(huì)過(guò)程中,你可以通過(guò)釘釘魔法棒的對(duì)話框,主動(dòng)給它設(shè)置一些任務(wù),比如關(guān)注特定的話題,當(dāng)有人討論到這個(gè)話題時(shí),AI就會(huì)自動(dòng)通知你而且告訴你相關(guān)內(nèi)容。你也可以設(shè)定數(shù)字分身每隔幾分鐘給你發(fā)送一個(gè)會(huì)議總結(jié),還可以主動(dòng)和數(shù)字分身對(duì)話,了解各種信息,比如會(huì)議里有哪些人、大家有沒(méi)有產(chǎn)生什么爭(zhēng)議,會(huì)議結(jié)束還會(huì)自動(dòng)推送會(huì)議摘要給你。
第二,是用自然語(yǔ)言做會(huì)議智能控制。過(guò)去有很多用戶吐槽釘釘功能太多,入口不好找,釘釘會(huì)議其實(shí)也面臨這個(gè)問(wèn)題,雖然我們做了大量簡(jiǎn)化,但是釘釘會(huì)議這個(gè)產(chǎn)品對(duì)一些用戶來(lái)說(shuō)使用門檻依然有點(diǎn)高。今天我們通過(guò)釘釘魔法棒里的智能助手把功能操作簡(jiǎn)化掉,你只需要通過(guò)自然語(yǔ)言提出你的需求,AI會(huì)自動(dòng)識(shí)別意圖并幫你完成操作,比如會(huì)議里人太多的時(shí)候,有人不小心開(kāi)麥了,你去找到這個(gè)人并把它靜音掉會(huì)比較麻煩,你可以告訴AI把正在說(shuō)話的人靜音,拉人加入會(huì)議的時(shí)候也可以直接打字拉人無(wú)需關(guān)心入口在哪里。通過(guò)這些能力,我們讓會(huì)議的操作、管理變得更簡(jiǎn)單。
第三,是文生虛擬背景。虛擬背景一直很受用戶喜愛(ài),尤其是過(guò)去幾年,我們“祖國(guó)的小花朵”們把這個(gè)功能玩出了花,一會(huì)在“太空里上課”,一會(huì)在“大草原上上課”,我們?nèi)粘9ぷ髦幸矔?huì)用到,可以有效避免背景雜亂的尷尬。以前大家用虛擬背景除了已有的模板圖片外,自己需要導(dǎo)出去搜索下載圖片上傳,現(xiàn)在不用了,我們通過(guò)文生圖自動(dòng)生成虛擬背景,徹底解放想象力。
接下來(lái),釘釘會(huì)議也將通過(guò)AI PaaS逐步做應(yīng)用的開(kāi)放,幫助合作伙伴做場(chǎng)景升級(jí),未來(lái)更多的生態(tài)產(chǎn)品可以嵌入到釘釘會(huì)議中使用,比如面試、白板等應(yīng)用。比如我們近期正在和招聘合作伙伴共創(chuàng)的面試助手,面試過(guò)程中對(duì)話AI就可以通過(guò)簡(jiǎn)歷內(nèi)容、溝通信息得到實(shí)時(shí)的輔助。我們希望做好體驗(yàn)和開(kāi)放,在智能化的時(shí)代,和生態(tài)伙伴一起給用戶帶去更多有意思、有價(jià)值的場(chǎng)景應(yīng)用。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )