近日，在ICCV2021舉辦的LVIS Challenge Workshop比賽中，騰訊優(yōu)圖實驗室榮獲冠軍，同時被授予該項目的最佳創(chuàng)新獎。LVIS Challenge 2021 是大規(guī)模長尾數(shù)據(jù)的實例分割任務(wù)，是本屆ICCV的重磅比賽之一，吸引了眾多國內(nèi)外知名企業(yè)和高校參加。此次競賽的核心技術(shù)方案也將應(yīng)用于工業(yè)AI質(zhì)檢的場景中，進(jìn)一步地提高缺陷檢測與分割的精準(zhǔn)度，用最核心的技術(shù)支持產(chǎn)業(yè)落地。

圖1比賽最終榜單，騰訊優(yōu)圖排名第一

LVIS是包含1k+類別的大規(guī)模長尾分布數(shù)據(jù)集，相較于常見的實例分割數(shù)據(jù)集，LVIS具有更精細(xì)的標(biāo)注和更多的類別，從而其分布更加接近自然場景。據(jù)統(tǒng)計，尾部類別的實例數(shù)量僅僅占比總實例數(shù)量的約0.41%，這對現(xiàn)有的實例分割算法提出了極大的挑戰(zhàn)。另外，不同于以往的比賽，本次LVIS比賽采用了Boundary AP替代Mask AP作為評價指標(biāo)，對分割精度提出了更高的要求。

圖2. LVIS競賽介紹

針對上述挑戰(zhàn)，騰訊優(yōu)圖團(tuán)隊提出了平衡分布，優(yōu)化邊緣的實例分割方法，在測試集上取得了48.1%AP的結(jié)果。值得一提的是，在本次Workshop會議中，RossGirshick指出優(yōu)圖此次方法的APr與APf的結(jié)果非常相近!

圖3.Workshop會議競賽結(jié)果宣布Apr與APf接近

具體技術(shù)細(xì)節(jié)如下：

騰訊優(yōu)圖團(tuán)隊將Hybrid Task Cascade(HTC)實例分割算法作為baseline, 采用了表征能力更強(qiáng)的Swin-Transformer作為基礎(chǔ)骨干網(wǎng)絡(luò)，同時，基于CBNetV2，復(fù)合鏈接兩個相同的Swin-Transformer網(wǎng)絡(luò)，作為最終的骨干網(wǎng)絡(luò)來加強(qiáng)性能。

圖4. Strongbaseline

針對長尾問題，騰訊優(yōu)圖提出了分布平衡模塊，包括數(shù)據(jù)平衡和損失平衡處理，從而提升網(wǎng)絡(luò)訓(xùn)練過程中對尾部稀有類別實例的關(guān)注。其中，數(shù)據(jù)平衡方法包括RFS, Balanced Copy-Paste和Balanced Mosaic，增加尾部類別數(shù)據(jù)出現(xiàn)的概率，兼顧了image-level和instance-level的數(shù)據(jù)平衡性。同時，優(yōu)圖采用了Seesaw Loss，在訓(xùn)練中動態(tài)地抑制尾部類別上過量的負(fù)樣本梯度，并補(bǔ)充對誤分類樣本的懲罰。

為了更好的優(yōu)化分割效果，騰訊優(yōu)圖提出了精細(xì)分割模塊，包含Mask Scoring和RefineMask方法?；贛ask Scoring方法，解耦了分類置信度與實例分割得分，用新的網(wǎng)絡(luò)分枝學(xué)習(xí)實例預(yù)測的質(zhì)量，從而避免了分類置信度與分割質(zhì)量不匹配的問題。針對邊緣分割精度優(yōu)化，騰訊優(yōu)圖采用了RefineMask方法，融合多階段的細(xì)粒度的上采樣語義特征，從而產(chǎn)生高質(zhì)量分割結(jié)果?？紤]時間和精度的平衡，優(yōu)圖實驗室僅將pipeline中最后一個Mask head替換為Refinemask head。由此可見，騰訊優(yōu)圖的方法仍然具有提升的空間。

除此之外，基于騰訊優(yōu)圖對訓(xùn)練過程的觀察，創(chuàng)新性地采用了頭尾部性能平衡的訓(xùn)練策略，不僅提升了整體的AP結(jié)果，更加極大地拉進(jìn)了尾部與頭部類別性能的差距。最終，優(yōu)圖團(tuán)隊以48.1%AP排名第一。

圖5.(a)分布平衡模塊 (b)精細(xì)分割模塊

作為騰訊旗下頂尖的人工智能實驗室，優(yōu)圖實驗室聚焦計算機(jī)視覺，專注人臉識別、圖像識別、OCR等領(lǐng)域開展技術(shù)研發(fā)和行業(yè)落地，在推動產(chǎn)業(yè)數(shù)字化升級過程中，始終堅持基礎(chǔ)研究、產(chǎn)業(yè)落地兩條腿走路的發(fā)展戰(zhàn)略，與騰訊云與智慧產(chǎn)業(yè)深度融合，挖掘客戶痛點，切實為行業(yè)降本增效。未來，騰訊優(yōu)圖實驗室也將繼續(xù)深耕CV技術(shù)，并將持續(xù)探索更多的應(yīng)用場景和應(yīng)用空間，讓更多的用戶享受到科技帶來的紅利。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）