近日,在騰訊全球數(shù)字生態(tài)大會“Techo前沿技術論壇”上,騰訊杰出科學家、騰訊云副總裁、騰訊多媒體實驗室總經理、騰訊視頻智能創(chuàng)作與內容平臺部副總經理劉杉博士,與清華大學電子工程系教授、2021年"科學探索獎"信息電子領域獲獎者陶曉明教授聚首,深入探討了語義通信和視頻編解碼領域的交叉合作。

劉杉博士一直致力于多媒體及相關領域的技術研究,包括信號與信息處理、音視頻與空間媒體數(shù)據(jù)壓縮、傳輸交互和智能化應用等。她所帶領的騰訊多媒體實驗室,主要工作涉及兩大方面:前沿技術的探索和標準制定,和面向產品的技術研發(fā)和應用落地。而陶曉明教授專注于廣域特定場景下的語義通信,通過將人腦視覺感知、認知機理融入網絡傳輸通信過程,解決大容量多媒體業(yè)務對無線網絡帶寬需求的壓力。

兩位專家結合各自領域的專業(yè)知識,圍繞腦啟發(fā)的視頻質量評價、語義賦能視頻編解碼以及語義通信與視頻編解碼跨領域合作這三大方面展開了深入的討論。

多媒體質量評價新思路

劉杉博士提及騰訊多媒體實驗室面向產品的技術研發(fā)和應用落地,從技術細分領域來看主要分為三大方向:媒體的壓縮傳輸,智慧融合媒體,以及互動沉浸式媒體。這些方向與當前熱門的概念如AIGC、XR和元宇宙密切相關。她強調多媒體是一個系統(tǒng),包括信號處理、壓縮、傳輸、互動、渲染和建模等多個環(huán)節(jié),需要聯(lián)合優(yōu)化以實現(xiàn)最佳性能和用戶體驗。性能和用戶體驗需要高效的質量評價體系量化評價,在傳統(tǒng)質量評價體系之上發(fā)掘借鑒大腦的特征,來完成多媒體的質量評價,是非常有意義的創(chuàng)新和探索。

陶曉明教授認為,大腦有三個特征能夠與多媒體通信相關。第一是在感知,人腦對于QoE能夠有主觀和定性的判斷,能夠直接感知到好還是不好;第二是在認知,人腦全局搜索和推理的能力,如果能引入通信的編解碼里面,一方面可以降低視頻編碼的復雜度,還能在傳輸過程中更好地保護上下文重要的語義信息;第三是在先驗知識方面,大腦能夠自動匹配之前接觸過的認知,如果應用到通信中,能夠降低一些特殊場景下對帶寬的需求。

深度學習、機器視覺

視頻編解碼,在如今5G甚至6G蓬勃發(fā)展的現(xiàn)在尤為重要,特別是在多媒體數(shù)據(jù)壓縮中。音頻、視頻、圖像以及新興的VR、高維度數(shù)據(jù)等,其數(shù)據(jù)量通常很大,需要大量存儲空間和傳輸帶寬。為了解決這個問題,視頻編解碼技術應運而生,經過幾代標準的發(fā)展,如H.264/AVC、H.265/HEVC、H.266/VVC等。深度學習在音頻信號壓縮方面已經取得了一些進展,但在視頻信號壓縮方面仍然具有挑戰(zhàn)性。

劉杉博士指出,在機器視覺、信息(如語音和圖像)處理等方面,深度學習和人工智能已經在不少實際應用中發(fā)揮作用,進而推動在視頻編解碼中的使用探索。目前在視頻編解碼標準制定中,騰訊多媒體實驗室也發(fā)現(xiàn)了許多技術提案和趨勢,以適應不同應用和環(huán)境的需求。

陶曉明教授也表示,在鄉(xiāng)村、留守老人和兒童等特殊情境,可以通過引入腦科學的思想,使用腦電圖分析來提取人的主觀感知,以改善用戶體驗。此外,陶曉明教授還介紹了一種基于時空素描圖的編解碼方法,通過提取視頻的輪廓、語義和關系等特征,以減小數(shù)據(jù)量。因此在接收端,需要使用生成式機器學習和強化學習方法,能夠實現(xiàn)在特殊長江下降低數(shù)據(jù)傳輸量,以滿足用戶的需求,生成最優(yōu)用戶體驗的視頻。

語義通信與視頻編解碼

劉杉博士認為,質量評價是無所不在的,包括目前騰訊多媒體工作室正在研究的3D空間視頻壓縮傳輸。她認為這些領域尚未成熟,有很大的探索空間,從人腦反饋出發(fā)的研究方法十分具有潛力,未來也許會對多媒體編解碼標準的改進起到推動作用。陶曉明補充說,在AR、VR和游戲等領域,腦電信號可以提供有關用戶體驗的寶貴信息,如交互性、感覺和延時等,這對語義通信的研究也是一個新的維度,期待未來能夠與騰訊多媒體實驗室一道,了解更多用戶需求。

騰訊多媒體實驗室自2018年初開始代表騰訊公司參與國際標準制定,迄今為止已有超過800項技術提案被多項國際標準采納并積累超過1500項已授權專利,數(shù)十人次在國際標準制定過程中擔任重要職務,技術貢獻贏得國際標準組織和業(yè)界廣泛認可。實驗室榮獲ISO/IEC 杰出貢獻獎、AVS產業(yè)技術創(chuàng)新單位獎、技術與工程艾美獎(Technical Emmy Award)、技術盧米埃獎(Technology Lumiere Award)、數(shù)博會領先科技成果獎、世界人工智能大會“鎮(zhèn)館之寶”。同時研發(fā)多媒體核心技術應用于騰訊旗下多款產品,為億級用戶提供優(yōu)質服務。從2018年開始投入包括VR在內的沉浸式媒體XR技術研發(fā)和系統(tǒng)建設以及AIGC能力智能內容生產,在2019年首次將VR應用于騰訊產品,之后又陸續(xù)為新華社、故宮、敦煌等合作項目以及騰訊WE大會、騰訊全球數(shù)字生態(tài)大會、東北虎國家公園提供技術支持,以多媒體實驗室技術為核心的“VR全景”、“自由視角”、“點云建模”、“點云壓縮”等通用解決方案已上架騰訊云官網。2019年,騰訊杰出科學家劉杉博士,向其所領導的多媒體實驗室團隊提出展開面向“智能化內容生產”技術研發(fā)的要求,并在此后的時間里帶領團隊打造多項核心技術并逐步完善能力矩陣,應用于多個內容生產和創(chuàng)作的業(yè)務場景。2023年團隊產品XMusic榮獲2023年世界人工智能大會“鎮(zhèn)館之寶”。未來多媒體實驗室將持續(xù)投入相關技術建設,持續(xù)為教育、工業(yè)、醫(yī)療、文旅、地產家居、金融等to B產業(yè)場景的建設做底層技術投入。

（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）