阿里巴巴淘系技術(shù)部與英國(guó)倫敦大學(xué)伯貝克學(xué)院Steve Maybank教授(Fellow of the IEEE and a Member of the Academia Europaea, the Koenderink Prize in 2008)、悉尼大學(xué)陶大程教授(Fellow of the IEEE, ACM and Australian Academy of Science)等國(guó)際知名學(xué)者合作，與3月30日正式開源業(yè)界首個(gè)飽含紋理細(xì)節(jié)的大型3D家具數(shù)據(jù)集(3D-FUTURE)，共同推動(dòng)3D家居智能研究。并面向全球3D幾何與視覺(jué)研究愛好者同步啟動(dòng)第一屆阿里巴巴3D人工智能挑戰(zhàn)賽暨IJCAI-PRICAI 2020 Workshop。
什么是3D-FUTURE？
在過(guò)去十多年里，科學(xué)家們?cè)?D視覺(jué)及幾何的研究投入了巨大的努力，但是3D人工智能的工業(yè)落地任然困難重重，尤其是在家居家裝行業(yè)。阿里巴巴淘系技術(shù)部協(xié)同躺平設(shè)計(jì)家也在持續(xù)不斷地探索數(shù)字化家居建設(shè)。以真實(shí)家居場(chǎng)景為背景，定義了許多新問(wèn)題，進(jìn)行了大量的知識(shí)重建，并結(jié)合3D人工智能技術(shù)初步打造了場(chǎng)景化數(shù)字營(yíng)銷，推出了智能設(shè)計(jì)搭配服務(wù)。同時(shí)，在相關(guān)團(tuán)隊(duì)的技術(shù)研發(fā)過(guò)程中發(fā)現(xiàn)，海量的高質(zhì)量3D模型與紋理，以及專業(yè)的房屋設(shè)計(jì)布局是推動(dòng)未來(lái)數(shù)字化家居建設(shè)的基礎(chǔ)。為了啟發(fā)高質(zhì)量3D模型理解與重建，并且建立學(xué)術(shù)研究與工業(yè)應(yīng)用的橋梁。阿里巴巴針對(duì)家居場(chǎng)景開源大型3D數(shù)據(jù)集3D-FUTURE(3D Furniture shape with TextURE)。
其初版包含20,000+高清室內(nèi)場(chǎng)景專業(yè)設(shè)計(jì)渲染圖，與10,000+精細(xì)的高質(zhì)量3D家具模型及對(duì)應(yīng)的高清且飽含信息的紋理，數(shù)據(jù)積累沉淀于阿里巴巴官方家裝家居設(shè)計(jì)平臺(tái)-躺平設(shè)計(jì)家。目前提供家具實(shí)例分割標(biāo)注，完全真實(shí)的2D到3D的對(duì)準(zhǔn)標(biāo)注，以及專業(yè)的細(xì)粒度家具屬性標(biāo)注。阿里巴巴希望持續(xù)建設(shè)3D-FUTURE，不斷為3D幾何及視覺(jué)研究提供需求的標(biāo)注以及新特征，包括但不限于已有數(shù)據(jù)擴(kuò)充，完整房屋布局信息提供，3D模型分割標(biāo)注等，以推進(jìn)學(xué)術(shù)尖端科技的工業(yè)落地。
為什么需要3D-FUTURE？
當(dāng)前大型開源3D數(shù)據(jù)集都存在一些不足，不足以支持工業(yè)級(jí)的3D模型重建與紋理恢復(fù)等領(lǐng)域的深入細(xì)致研究。首先，已開源數(shù)據(jù)集的大多數(shù)3D CAD模型(家具類) 都是從網(wǎng)上收集的，因此普遍存在細(xì)節(jié)缺失以及無(wú)紋理或紋理信息度低等問(wèn)題，且沒(méi)有多樣專業(yè)的屬性標(biāo)簽。針對(duì)此現(xiàn)象，3D-FUTURE提供多種不同風(fēng)格且?guī)в胸S富細(xì)節(jié)的高質(zhì)量3D家具模型，并配備了高清飽含信息的紋理以及多樣化的屬性標(biāo)簽。其次，目前學(xué)界暫無(wú)組織較好的大規(guī)模室內(nèi)仿真圖像數(shù)據(jù)集。3D-FUTURE通過(guò)最先進(jìn)的工業(yè)3D渲染引擎，在專業(yè)設(shè)計(jì)師所設(shè)計(jì)的5,000多個(gè)場(chǎng)景中渲染產(chǎn)生了20,000+圖像，填補(bǔ)了這一空白。最后，現(xiàn)有數(shù)據(jù)集只提供2D-3D偽匹配，即根據(jù)2D圖中物體，人工從開源3D模型池里選擇與之相似的3D模型作為匹配結(jié)果。這種標(biāo)注過(guò)程極有可能忽視掉一些局部的形狀細(xì)節(jié)特征，導(dǎo)致提供的2D-3D匹配結(jié)果并非完全一致。因此難以支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的高質(zhì)量三維重建以及高精度形狀檢索等相關(guān)3D研究。與之相比，3D-FUTURE提供的10,000+ 3D模型都是與2D渲染圖中的物體真實(shí)配對(duì)的。我們相信，3D-FUTURE這些特性可以啟發(fā)高質(zhì)量3D模型理解和重建等領(lǐng)域的創(chuàng)新研究。
阿里巴巴3D人工智能挑戰(zhàn)賽暨IJCAI-PRICAI 2020Workshop？
阿里巴巴淘系技術(shù)部聯(lián)合來(lái)自于悉尼大學(xué)、英國(guó)倫敦大學(xué)伯貝克學(xué)院、墨爾本大學(xué)、中國(guó)科學(xué)院計(jì)算所的頂尖學(xué)者舉辦基于3D-FUTURE的第一屆3D人工智能挑戰(zhàn)賽暨IJCAI-PRICAI 2020 Workshop。 3D幾何與視覺(jué)研究是廣受關(guān)注的基礎(chǔ)研究領(lǐng)域，是建設(shè)未來(lái)3D智能世界必經(jīng)之路。淘系技術(shù)部在人工智能國(guó)際頂級(jí)會(huì)議IJCAI-PRICAI舉辦workshop及競(jìng)賽，旨在總結(jié)目前最先進(jìn)的3D幾何與視覺(jué)技術(shù)，啟發(fā)高質(zhì)量3D模型理解與重建，并且建立學(xué)術(shù)研究與工業(yè)應(yīng)用的橋梁。
競(jìng)賽內(nèi)容包括三個(gè)項(xiàng)目，分別是基于圖片的3D模型推薦，基于單張圖的3D模型重建，實(shí)例分割。信息如下：
基于圖片的3D模型推薦：在該項(xiàng)挑戰(zhàn)賽中，參賽者被要求根據(jù)2D圖片在給定3D池中檢索出對(duì)應(yīng)的3D模型。隨著極速增長(zhǎng)的3D模型數(shù)量，建立一個(gè)可靠的IBSR(image-based 3Dshaperetrieval)系統(tǒng)不管在工業(yè)界還是在學(xué)術(shù)界都非常重要。比如用戶3D場(chǎng)景布局重建的基礎(chǔ)就是根據(jù)2D圖中物體，從大型3D池中找出對(duì)應(yīng)的3D模型。該項(xiàng)競(jìng)賽最大的挑戰(zhàn)是針對(duì)2D與3D是完全不同域以及表征信息的差距，提取具有域不變性且紋理抑制的的特征表示。我們希望參賽者能充分探索最先進(jìn)的解決方案，并基于此設(shè)計(jì)出更加精準(zhǔn)可靠的IBSR算法。另外，我們也期望通過(guò)這項(xiàng)比賽來(lái)促進(jìn)具有魯棒性的形狀檢索發(fā)展，即在圖片中物體存在輕微遮擋以及具有復(fù)雜背景的情況下實(shí)現(xiàn)較高精度的檢索。 我們將用TopK召回率以及TopK平均F-score作為主要性能衡量指標(biāo)。
基于單張圖的3D模型重建：在該項(xiàng)挑戰(zhàn)賽中，參賽者被要求從單張RGB圖像重建對(duì)應(yīng)的3D模型，這些圖片主物體可能存在輕微遮擋以及少部分殘缺。眾所周知，3D模型的數(shù)量與質(zhì)量是數(shù)據(jù)驅(qū)動(dòng)的3D理解研究以及3D相關(guān)人工智能應(yīng)用的基礎(chǔ)，比如虛擬場(chǎng)景搭建。然而，目前海量的網(wǎng)絡(luò)圖片中的物體都沒(méi)有或很難收集到對(duì)應(yīng)的3DCAD模型。另一方面，目前工業(yè)界高質(zhì)量3D模型生產(chǎn)效率很低，無(wú)法支持大規(guī)模高效生產(chǎn)。這項(xiàng)獎(jiǎng)賽旨在總結(jié)目前最先進(jìn)的單目圖像3D重建方案，并啟發(fā)工業(yè)級(jí)mesh表面細(xì)節(jié)重建的研究探索思路。Chamfer Distance(CD)以及F-score將作為重建結(jié)果質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)。
實(shí)例分割：在該項(xiàng)挑戰(zhàn)賽中，參賽者被要求對(duì)渲染的室內(nèi)場(chǎng)景圖進(jìn)行實(shí)例分割。在訓(xùn)練集中，3D-FUTURE將提供場(chǎng)景圖中部分物體所對(duì)應(yīng)的帶有紋理的3D模型作為輔助信息，期望能提升邊緣分割精度。實(shí)例分割是學(xué)界的基礎(chǔ)研究問(wèn)題，也是室內(nèi)場(chǎng)景理解的關(guān)鍵之一。高精度尤其是邊緣?mèng)敯舻膶?shí)例分割不僅有利于啟發(fā)高質(zhì)量圖像合成相關(guān)工業(yè)應(yīng)用，例如有潛力部分取代昂貴低效的渲染過(guò)程，從而實(shí)現(xiàn)高效自動(dòng)化用戶室內(nèi)搭配編輯生成;也有潛力大幅提升IBSR，3D重建等基礎(chǔ)3D問(wèn)題的效果。 該項(xiàng)挑戰(zhàn)賽的評(píng)估指標(biāo)為被廣泛認(rèn)可的Mask Average Precision (mAP)。
附workshop及競(jìng)賽重要信息
重要日程節(jié)點(diǎn)：
3月30日競(jìng)賽開啟報(bào)名，并開放部分示例數(shù)據(jù)集。
4月03日開放完整訓(xùn)練集與驗(yàn)證集。
5月31日開放相關(guān)測(cè)試集。
6月05日競(jìng)賽結(jié)束。
6月12日潛在優(yōu)勝者報(bào)告提交截止日期。
6月17日?qǐng)?bào)告審核以及競(jìng)賽最終結(jié)果公開。
7月13日3D-FUTURE Workshop at IJCAI-PRICAI 2020。
優(yōu)勝者獎(jiǎng)勵(lì)：
l 第一名1500美金，第二名1000美金，第三名500美金。
l 受邀請(qǐng)到國(guó)際人工智能頂會(huì)IJCAI-PRICAI 2020 Workshop進(jìn)行報(bào)告。
l 受邀合著Workshop報(bào)告。
需要本次競(jìng)賽和數(shù)據(jù)集詳情，請(qǐng)登陸「天池」官網(wǎng)了解。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
