10月20-10月24日,多媒體方向頂級(jí)學(xué)術(shù)盛會(huì)ACM Multimedia 2021于中國(guó)成都正式召開(kāi)。阿里巴巴淘系技術(shù)與浙江大學(xué)聯(lián)合舉辦的直播中多模態(tài)商品識(shí)別Workshop暨第二屆淘寶直播商品識(shí)別大賽圓滿結(jié)束。淘系技術(shù)通過(guò)該Workshop開(kāi)源了業(yè)界首個(gè)首個(gè)大規(guī)模的多模態(tài)視頻商品檢索數(shù)據(jù)集,并聯(lián)合浙江大學(xué)教授莊越挺、悉尼科技大學(xué)教授楊易、天津大學(xué)教授韓亞洪等國(guó)內(nèi)外知名學(xué)者發(fā)起多模態(tài)檢索領(lǐng)域的國(guó)際挑挑戰(zhàn)賽,旨在共同推動(dòng)電商直播場(chǎng)景中多模態(tài)商品檢索識(shí)別的研究和AI技術(shù)在實(shí)際應(yīng)用場(chǎng)景中的落地。

在電商應(yīng)用場(chǎng)景中,淘系技術(shù)通過(guò)直播商品識(shí)別算法,實(shí)現(xiàn)淘寶直播過(guò)程中商品和直播講解點(diǎn)的有效關(guān)聯(lián),讓消費(fèi)者可以通過(guò)點(diǎn)擊商品跳轉(zhuǎn)觀看該商品的真人講解,實(shí)現(xiàn)邊看邊買的沉浸式消費(fèi)體驗(yàn)。而直播間講解商品多,視覺(jué)相似程度高,直播場(chǎng)景復(fù)雜度高,給直播中商品檢索識(shí)別帶來(lái)巨大的技術(shù)挑戰(zhàn)。如何基于直播內(nèi)容的理解,進(jìn)行多模態(tài)商品檢索和識(shí)別,是非常值得研究并需持續(xù)投入的課題。

基于淘寶直播數(shù)據(jù)構(gòu)建的多模態(tài)視頻商品檢索數(shù)據(jù)集Watch and Buy (WAB),淘系技術(shù)于4月27日正式發(fā)起第二屆淘寶直播商品識(shí)別大賽,相較與第一屆大賽,在賽題設(shè)計(jì)上引導(dǎo)選手注重全類別的識(shí)別效果,特別是長(zhǎng)尾的商品類別、視覺(jué)紋理簡(jiǎn)單商品的識(shí)別等,另一方面更加強(qiáng)調(diào)多模態(tài)信息(主播講解語(yǔ)音、商品標(biāo)題)等信息在精確識(shí)別視覺(jué)相似講解商品中的重要性。

本屆賽事共吸引來(lái)自北京大學(xué)、清華大學(xué)、中科院、卡耐基梅隆大學(xué)、倫敦大學(xué)、南京大學(xué)、浙江大學(xué)等全球知名高校學(xué)者組成的587支隊(duì)伍參加,歷經(jīng)3個(gè)月的激烈追逐,最終來(lái)自中科院計(jì)算所、北京大學(xué)、中南大學(xué)組成的隊(duì)伍分別獲得本賽事的冠軍、亞軍和季軍。

其中來(lái)自中科院計(jì)算所的冠軍隊(duì)伍的F1分?jǐn)?shù)高達(dá)0.69,超過(guò)baseline 0.22,Top3隊(duì)伍的F1分?jǐn)?shù)均超過(guò)0.6。在論文征集部分,workshop共接收了5篇論文,包括兩篇long paper,三篇short paper。

Watch and Buy Challenge & workshop 成果總結(jié)

阿里巴巴淘系技術(shù)資深算法專家李曉波表示,“淘寶擁有最大規(guī)模的商品庫(kù),淘寶直播作為直播領(lǐng)域的先行者,實(shí)現(xiàn)通過(guò)直播的方式更好連接商品和消費(fèi)者。在這個(gè)過(guò)程中,如何通過(guò)AI的能力,更好的理解視頻直播內(nèi)容,提升用戶邊看邊買的消費(fèi)體驗(yàn)是我們一直的追求。本次workshop通過(guò)提供真實(shí)的多模態(tài)商品識(shí)別的應(yīng)用場(chǎng)景、數(shù)據(jù),希望能夠促進(jìn)更多學(xué)術(shù)和工業(yè)的結(jié)合,激發(fā)更多創(chuàng)新研究和技術(shù)落地?！?/p>

本屆ACM MM 2021 的大會(huì)co-chair，來(lái)自浙江大學(xué)的莊越挺教授也表示,“阿里巴巴提供了真實(shí)的高質(zhì)量的直播商品檢索場(chǎng)景和數(shù)據(jù),能夠讓學(xué)術(shù)界很好的參與到這個(gè)問(wèn)題中?！?/p>

歡迎大家持續(xù)關(guān)注獲取WAB開(kāi)源數(shù)據(jù)集

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）