本文為將門(mén)技術(shù)社群第227期talk直播的文字內(nèi)容整理分享嘉賓：曠視南京研究院研究員 趙冰辰
眾所周知，參加頂會(huì)競(jìng)賽是當(dāng)今AI研究人員鍛煉自身、驗(yàn)證已有學(xué)術(shù)成果的一大舞臺(tái)。從2017年到現(xiàn)在，曠視研究院在全球頂會(huì)累計(jì)榮獲28項(xiàng)世界冠軍，好奇的同學(xué)們肯定想知道其中的經(jīng)驗(yàn)與技巧。為此我們很榮幸邀請(qǐng)到曠視南京研究院研究員—趙冰辰，與大家分享其團(tuán)隊(duì)在 CVPR 2020 iWildCam 項(xiàng)目奪冠的經(jīng)歷，同時(shí)也介紹了他們?cè)诒敬伪荣愔嗅槍?duì) Camera Trap 數(shù)據(jù)的特點(diǎn)設(shè)計(jì)的方法及冠軍方案。
值得一提的是，雖然曠視南京研究院在整個(gè)參賽過(guò)程中持續(xù)領(lǐng)先，但就在最終截止日期前5天，F(xiàn)acebook突然大比分反超。經(jīng)過(guò)對(duì)現(xiàn)有模型的快速分析，團(tuán)隊(duì)通過(guò)序列和日期信息大幅提升了模型性能近10個(gè)點(diǎn)，在48小時(shí)內(nèi)重新登頂，并奪得iWildCam的全球冠軍。
本文回顧了此次比賽的基本背景、團(tuán)隊(duì)方案，并介紹了團(tuán)隊(duì)總結(jié)的參賽經(jīng)驗(yàn)，希望能為同學(xué)們帶來(lái)啟發(fā)。
背景
iWildCam競(jìng)賽隸屬于 CVPR 2020 FGVC workshop， 其目的是利用部署在野外無(wú)人操縱的 Camera Trap 來(lái)識(shí)別野生動(dòng)物，從而輔助對(duì)野生動(dòng)物的研究與保護(hù)。該比賽的難點(diǎn)在于，由于 Camera Trap 的拍攝機(jī)制是通過(guò)熱感或運(yùn)動(dòng)來(lái)觸發(fā)相機(jī)，因此成像效果與ImageNet或者是iNaturalist中的圖像有很大區(qū)別。
一個(gè)典型的camera trap設(shè)備 例如下圖，每張圖片中都存在動(dòng)物，但是由于 camera trap 無(wú)人操縱的特性，獲取的畫(huà)面會(huì)受到光照、模糊、小ROI、遮擋、奇異視角、或者動(dòng)物本身保護(hù)色等諸多因素的干擾。 可以發(fā)現(xiàn)，定位到這些動(dòng)物并且給出正確分類，即使對(duì)人類來(lái)說(shuō)也比較困難。
Camera Trap數(shù)據(jù)的另外一個(gè)特點(diǎn)在于畫(huà)面背景。由于camera trap固定在某個(gè)區(qū)域進(jìn)行拍攝，因此由特定camera trap所采集到的圖片背景相似度極高。如下圖，Camera－1和Camera－2分別對(duì)應(yīng)部署在兩個(gè)位置的camera trap，可以發(fā)現(xiàn)同一個(gè)camera拍到的圖片背景基本一致。而相應(yīng)的，不同camera獲取的背景差異顯著。
因此，這對(duì)分類模型的泛化性提出了極高的要求。iWildCam數(shù)據(jù)集總共包括263個(gè)類別，28萬(wàn)張圖片，其中訓(xùn)練集441個(gè)camera trap，測(cè)試集111個(gè)camera trap。主辦方將全部552個(gè)位置的camera trap分成為train set 441個(gè)，和test set 111個(gè)，這也就是說(shuō)測(cè)試集圖片全部來(lái)自訓(xùn)練集之外的camera trap 。 另外，類別數(shù)據(jù)的長(zhǎng)尾分布也是必須考慮的問(wèn)題。 因此可以總結(jié)，在Camera Trap場(chǎng)景下，主要存在三個(gè)問(wèn)題： Camera Trap無(wú)人操作導(dǎo)致的圖像模糊，遮擋等問(wèn)題。來(lái)自訓(xùn)練與測(cè)試集不同背景所導(dǎo)致的泛化問(wèn)題。野生動(dòng)物分布帶來(lái)的長(zhǎng)尾問(wèn)題。 針對(duì)上述問(wèn)題，曠視南京研究院在此次參賽中進(jìn)行了逐項(xiàng)攻克。 挑戰(zhàn)一：ROI尺寸過(guò)小 如前所述，iWildCam的第一個(gè)挑戰(zhàn)來(lái)自于camera trap所捕獲的畫(huà)面，即動(dòng)物圖片經(jīng)常存在過(guò)小或者被遮擋等問(wèn)題。 因此比賽主辦方提供了Mega Detector（一個(gè)微軟提供的Camera Trap動(dòng)物檢測(cè)器，輸出類別只有animal和background）。 因此，曠視南京研究院用Mega Detector來(lái)提取圖像的ROI區(qū)域，從輔助進(jìn)一步的分類工作。
1234下一頁(yè)>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
