經(jīng)過3個(gè)月的角逐，愛奇藝聯(lián)合全球多媒體領(lǐng)域頂尖會(huì)議ACM International Conference on Multimedia(以下簡稱ACM MM)共同舉辦的多模態(tài)人物識(shí)別競賽于近日正式落下帷幕。本次大賽，吸引了包括卡內(nèi)基梅隆大學(xué)、倫敦大學(xué)學(xué)院、?？巳卮髮W(xué)、清華大學(xué)、北京大學(xué)等國內(nèi)外頂尖高校，以及百度、中興、京東、美圖、英偉達(dá)等知名企業(yè)在內(nèi)的共255支團(tuán)隊(duì)同場競技。其中，來自于北京郵電大學(xué)自動(dòng)化學(xué)院、北京郵電大學(xué)網(wǎng)研院網(wǎng)絡(luò)智能中心以及南京大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系的團(tuán)隊(duì)分別獲得前三名。 獲得第一名的北京郵電大學(xué)自動(dòng)化學(xué)院團(tuán)隊(duì)將多模態(tài)視頻人物識(shí)別精準(zhǔn)度提升到了91.14%，愛奇藝攜手頂尖參賽團(tuán)隊(duì)在多模態(tài)人物識(shí)別領(lǐng)域再次取得突破。此次競賽的頒獎(jiǎng)儀式將在10月21日至25日在法國尼斯舉辦的第27屆ACM MM 大會(huì)上進(jìn)行。

目前，全世界眾多科技公司以及學(xué)術(shù)機(jī)構(gòu)發(fā)布視頻數(shù)據(jù)集，側(cè)重解決視頻識(shí)別各種難題。其中，牛津大學(xué)發(fā)布過VoxCeleb2數(shù)據(jù)集，包含6千多人，15萬視頻，側(cè)重于解決說話人識(shí)別的問題;香港中文大學(xué)和商湯科技合作發(fā)布的包括1218人，12.7萬視頻CSM數(shù)據(jù)集，為了更好地檢索識(shí)別視頻中的說話的人物。以色列特拉維夫大學(xué)的Youtube Faces DB，擁有3425個(gè)視頻片段與1595個(gè)人物，用以解決非約束環(huán)境下的人臉識(shí)別問題。此次，愛奇藝發(fā)起的多模態(tài)人物識(shí)別挑戰(zhàn)賽中，對(duì)參賽者公布了通過嚴(yán)格人工標(biāo)注、更具有挑戰(zhàn)性的多模態(tài)人物數(shù)據(jù)集(iQIYI-VID-2019)，包含10000名明星人物、200小時(shí)、20萬條影視劇與短視頻數(shù)據(jù)集，更接近實(shí)際應(yīng)用場景，其中包括臉部，頭部，身體及聲紋4個(gè)模態(tài)的特征，為學(xué)術(shù)界及工業(yè)界利用多模態(tài)特征去更全面解決場景復(fù)雜、人體動(dòng)作多變、化妝等人物識(shí)別難題提供了便利條件。參賽團(tuán)隊(duì)無需使用自己的計(jì)算資源去提取特征，這樣大大降低該競賽對(duì)硬件資源的門檻，吸引了更多全球頂尖優(yōu)秀的學(xué)術(shù)機(jī)構(gòu)團(tuán)隊(duì)參與，加快提升人物識(shí)別技術(shù)不斷向前演進(jìn)。此次拔得頭籌的北京郵電大學(xué)自動(dòng)化學(xué)院團(tuán)隊(duì)，在愛奇藝公布的4個(gè)模態(tài)特征的基礎(chǔ)上，重新訓(xùn)練了對(duì)齊的人臉識(shí)別模型，利用數(shù)據(jù)增強(qiáng)和這5種模態(tài)信息訓(xùn)練完成多模態(tài)分類模型，在數(shù)據(jù)集難度提升的情況下，將多模態(tài)視頻人物識(shí)別精準(zhǔn)度由去年的88.65%提升到了91.14%，提升幅度達(dá)2.5pp，成為多模態(tài)視頻人物識(shí)別競賽中的全球最佳算法。

多模態(tài)人物識(shí)別技術(shù)精準(zhǔn)度進(jìn)一步提升意味著，愛奇藝可以通過對(duì)復(fù)雜場景下精準(zhǔn)識(shí)別為用戶帶來更優(yōu)的視頻消費(fèi)體驗(yàn)，進(jìn)一步提升娛樂系統(tǒng)的效率，例如，通過識(shí)別短視頻、UGC內(nèi)容中模糊、側(cè)面、距離遠(yuǎn)等復(fù)雜場景中的人物，更好地為用戶精準(zhǔn)推薦內(nèi)容，加強(qiáng)愛奇藝個(gè)性化內(nèi)容分發(fā)能力;在AI雷達(dá)中，通過對(duì)視頻人物的精準(zhǔn)識(shí)別，通過只看TA的功能讓用戶享受到更為個(gè)性化的互動(dòng)體驗(yàn);可以使HomeAI智能語音交互平臺(tái)提升用戶的交互體驗(yàn);以及讓AIWorks視頻智能創(chuàng)作對(duì)長視頻進(jìn)行更精準(zhǔn)的拆條，進(jìn)一步提升愛奇藝愛創(chuàng)媒資系統(tǒng)制作爆款劇的效率等。

愛奇藝首席技術(shù)官兼基礎(chǔ)架構(gòu)和智能內(nèi)容分發(fā)事業(yè)群總裁劉文峰表示，多模態(tài)人物識(shí)別競賽不斷取得突破，除了對(duì)愛奇藝娛樂生態(tài)產(chǎn)生重要價(jià)值之外，對(duì)人物識(shí)別技術(shù)的研發(fā)，技術(shù)成果轉(zhuǎn)化效率，相關(guān)人才培養(yǎng)都會(huì)產(chǎn)生深遠(yuǎn)的影響。未來，愛奇藝將不斷與國內(nèi)外學(xué)術(shù)機(jī)構(gòu)、行業(yè)領(lǐng)先者合作，不斷提升前沿技術(shù)的探索與實(shí)踐。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。