在做生成模型時，用一個生成網(wǎng)絡生成了一批圖，為了挑選幾張最好的做demo，可能要花費大量的時間精力。為了解決該問題，中國科學技術大學在讀博士古紓旸等人提出了一個全新的研究方向：生成圖片質(zhì)量評估（GIQA）。通過對單張生成圖片質(zhì)量的打分，我們可以“一鍵”挑出高質(zhì)量的圖。
本文首次提出對生成模型生成圖片的質(zhì)量進行定量，客觀地衡量這一新的研究課題，并提出了幾種解決方案和一個數(shù)據(jù)集去衡量這些方案。通過豐富的實驗證明了這個課題有了寬廣的應用。
這些年來，深度生成模型取得了巨大的進展，誕生了很多有趣的應用，然而，并非所有生成的結(jié)果都很完美。如下圖所示，圖中四個角上的圖片均為StyleGAN在一只貓的數(shù)據(jù)集上生成結(jié)果。在這些圖片中，既有很多高質(zhì)量的貓（右下），也有很多圖質(zhì)量很差（完全看不出來是貓，左下）。
以往大家為了評估哪張圖生成的好，往往都是要靠人來判斷，這需要花費大量人力成本。在實際應用中，由于對于生成圖片的最差質(zhì)量缺少把控，很多產(chǎn)品遭受到了各種質(zhì)疑?；诖耍覀兲岢隽松蓤D像質(zhì)量評估（GIQA）這一研究方向，并希望用評估算法對生成圖片的質(zhì)量進行自動的打分。為了實現(xiàn)這個目的，我們從基于學習的和基于數(shù)據(jù)的兩個角度提出了三種解決方法，利用這些方法，我們能夠?qū)崿F(xiàn)對生成圖片的質(zhì)量進行打分，同時實現(xiàn)很多有趣的應用。上圖中展示了我們對一個模型的生成圖片進行打分的分布結(jié)果，在右下、右上、左上、左下中我們分別展示了模型評價的從高質(zhì)量到低質(zhì)量的生成圖片，可以觀察到我們算法評價的質(zhì)量基本上和人的評價是一致的。
下面將介紹我們是怎么實現(xiàn)用算法進行生成圖片質(zhì)量評價的。
基于學習的GIQA
我們發(fā)現(xiàn)，在訓練GAN的時候，生成圖片的質(zhì)量會隨著迭代次數(shù)的增加而變好。一個簡單的想法是用迭代次數(shù)當質(zhì)量的“偽標簽”，通過監(jiān)督式的學習，來學一個打分器，對生成圖片的質(zhì)量進行打分。然而，用迭代次數(shù)當質(zhì)量并不精確，我們通過多個二分類器（Multiple binary classifiers）回歸標簽來平滑去噪，通過平均這些分類器的分數(shù)，可以極大的增強魯棒性和泛化能力。我們稱之為MBC－GIQA。
數(shù)據(jù)驅(qū)動GIQA
我們重新思考質(zhì)量評估這個問題，發(fā)現(xiàn)“質(zhì)量”很難定義好。生成模型希望能生成服從已有的真實數(shù)據(jù)分布（real distribution）的圖片，因此，我們認為“質(zhì)量”表征的是一張生成圖片和真實數(shù)據(jù)分布的接近程度。通俗的說，就是一張生成圖片有多大可能性來自于真實分布。這個概率越大，表示質(zhì)量越高。因此，另一個直觀的想法是對真實分布直接建模。我們根據(jù)建模是參數(shù)化模型還是非參數(shù)化模型分成兩部分。
參數(shù)化模型：GMM－GIQA
我們將用高斯混合模型（GMM）來擬合真實數(shù)據(jù)分布在特征層面的特征。對于一張待測的圖片I，我們先提取他特征x，這個特征x在真實數(shù)據(jù)分布中出現(xiàn)的概率就表示了該圖的質(zhì)量。
123下一頁>（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
