檢測并消除瑕疵，DeSRA讓真實(shí)場景超分中的GAN更加完美

• 論文鏈接：

• https://arxiv.org/abs/2307.02457

• 代碼鏈接：

• https://github.com/TencentARC/DeSRA

“GAN 訓(xùn)練時出現(xiàn)的瑕疵” 與 “GAN 推理時出現(xiàn)的瑕疵”

基于 GAN 的方法在生成帶有紋理的逼真復(fù)原結(jié)果方面取得了巨大成功。BSRGAN [1] 和 Real-ESRGAN [2] 將基于 GAN 的模型擴(kuò)展到了真實(shí)場景應(yīng)用，展示了它們恢復(fù)真實(shí)世界圖像紋理的能力。然而， GAN-SR 方法經(jīng)常會生成令人視覺上難以接受的偽影，嚴(yán)重影響用戶體驗(yàn)。這個問題在真實(shí)世界場景中更加嚴(yán)重，因?yàn)榈头直媛蕡D像的退化是未知且復(fù)雜的。

• GAN 訓(xùn)練出現(xiàn)的瑕疵（GAN-training artifacts）：出現(xiàn)在訓(xùn)練階段，主要是由于訓(xùn)練時網(wǎng)絡(luò)優(yōu)化的不穩(wěn)定和在同分布數(shù)據(jù)上的 SR 的 ill-pose 導(dǎo)致。在有干凈的高清圖像存在的情況下，可以在訓(xùn)練過程中對這些瑕疵加以約束，進(jìn)而緩解瑕疵的生成，如 LDL [3]。
• GAN 推理出現(xiàn)的瑕疵（GAN-inference artifacts）：出現(xiàn)在推理階段，這些偽影通常是在真實(shí)世界未見過的數(shù)據(jù)中出現(xiàn)的。這些瑕疵通常不在訓(xùn)練數(shù)據(jù)的分布中，并不會在訓(xùn)練階段出現(xiàn)。因此，通過改善訓(xùn)練過程的方法（例如 LDL [3]）無法解決這些瑕疵問題。

檢測 GAN 推理時出現(xiàn)的瑕疵

在本文中，研究團(tuán)隊(duì)專注于處理 GAN 推理時產(chǎn)生的瑕疵。這些瑕疵對實(shí)際的應(yīng)用有很大的負(fù)面影響，因此解決它們具有很大的實(shí)際價值。由于這些瑕疵的復(fù)雜性和多樣性，一次性解決所有瑕疵是具有挑戰(zhàn)性的。

本文主要處理有著以下兩個特征的瑕疵：

• 這些瑕疵不會出現(xiàn)在預(yù)訓(xùn)練的 MSE-SR 模型中。

• 這些瑕疵很明顯且面積較大，能夠很容易被人眼捕捉到。上圖展示了一些包含這些瑕疵的樣例。

對于前一特征，研究團(tuán)隊(duì)希望確保瑕疵是由 GAN 引起的，而相應(yīng)的 MSE-SR 結(jié)果對于測試數(shù)據(jù)是良好的參考結(jié)果，從而區(qū)分瑕疵。其原理在于，GAN 瑕疵的呈現(xiàn)通常是有著過多不需要的高頻 “細(xì)節(jié)”。換句話說，研究團(tuán)隊(duì)引入 GAN 訓(xùn)練來生成精細(xì)的細(xì)節(jié)，但他們不希望 GAN 生成的內(nèi)容與 MSE-SR 的結(jié)果相差太大。注意，即使對于沒有見過的真實(shí)場景的測試數(shù)據(jù)，MSE-SR 結(jié)果也很容易獲得，因?yàn)槲覀兺ǔＪ腔?MSE-SR 模型進(jìn)行微調(diào)以獲得 GAN-SR 模型。對于后一特征，之所以優(yōu)化考慮那些明顯且占據(jù)較大區(qū)域的瑕疵，是因?yàn)檫@種類型的瑕疵對人的感知有很大影響。

具體的，研究團(tuán)隊(duì)首先設(shè)計(jì)了一個定量指標(biāo)，通過計(jì)算局部方差來衡量 MSE-based 和 GAN-based 模型生成結(jié)果之間的紋理差異。該指標(biāo)總共包含著以下幾個部分。

• 局部紋理復(fù)雜性：局部區(qū)域 P 內(nèi)像素強(qiáng)度的標(biāo)準(zhǔn)差 σ(i, j) 來表示局部紋理

  
  

• 絕對紋理差異 d：兩個局部區(qū)域的標(biāo)準(zhǔn)差（x 表示 GAN-SR 區(qū)域，y 表示 MSE-SR 區(qū)域）

  
  

• 相對紋理差異 d’：

  
  

• 歸一化到 [0, 1]：

• 引入一個常數(shù) C：處理分母相對較小的情況

研究團(tuán)隊(duì)使用 Real-ESRGAN [2]，LDL [3] 以及 SwinIR [4] 來驗(yàn)證他們的方法的有效性?？紤]到現(xiàn)有的幾個真實(shí)世界的超分辨率數(shù)據(jù)集都假設(shè)了特定相機(jī)的退化情況，導(dǎo)致會與實(shí)際情況相差甚遠(yuǎn)。因此，他們構(gòu)建了一個人工標(biāo)注的瑕疵數(shù)據(jù)集?？紤]到圖像內(nèi)容和退化的多樣性，他們使用 ImageNet 1K 的驗(yàn)證集作為真實(shí)世界的低分辨率數(shù)據(jù)。然后，選擇每種方法中有 200 張有 GAN-inference 瑕疵的圖像來構(gòu)建瑕疵數(shù)據(jù)集，并使用 labelme 手動標(biāo)記瑕疵區(qū)域。這是首個用于 GAN-inference 瑕疵檢測的數(shù)據(jù)集。對于微調(diào)過程，他們對 200 張圖片進(jìn)行劃分，其中 50 張用于模型的微調(diào)，另外 150 張作為驗(yàn)證集。

評估指標(biāo)

計(jì)算每個圖像的 IoU，并使用驗(yàn)證集上的平均 IoU 來評估檢測算法。較高的 IoU 意味著更好的檢測準(zhǔn)確性。然后，我們將檢測到的瑕疵區(qū)域集合定義為 S，正確樣本集合 T 定義為：

精確度 =表示正確檢測的區(qū)域數(shù)（）占總檢測到的區(qū)域數(shù)（）的比例。

研究團(tuán)隊(duì)將實(shí)際的瑕疵區(qū)域定義為 G，并通過以下方式計(jì)算檢測到的 GT 瑕疵區(qū)域集合 R：

召回率 =表示正確檢測到的 GT 瑕疵區(qū)域數(shù)（）占總 GT 瑕疵區(qū)域數(shù)（）的比例。其中，p 是一個閾值，研究團(tuán)隊(duì)根據(jù)經(jīng)驗(yàn)將其設(shè)置為 0.5。

瑕疵檢測結(jié)果

如下表所示，針對 LDL 模型中的瑕疵檢測結(jié)果中，本文方法獲得了最好的 IoU 和 Precision，遠(yuǎn)遠(yuǎn)超過其他方案。需要注意的是，LDL 在 threshold=0.001 時獲得了最高的召回率。這是因?yàn)樵摲桨笇⒋蟛糠謪^(qū)域視為瑕疵，因此這種檢測結(jié)果幾乎沒有意義。Real-ESRGAN 和 SwinIR 的結(jié)果可以參考原文。

研究團(tuán)隊(duì)同時對比了使用 DeSRA 微調(diào)策略之前和之后的瑕疵檢測結(jié)果，結(jié)果如下表所示，當(dāng)應(yīng)用他們的 DeSRA 之后，Real-ESRGAN 的 IoU 從 51.1 降至 12.9，LDL 的 IoU 從 44.5 降至 13.9，說明瑕疵區(qū)域的檢測面積大大減少。去除率分別為 75.43% 和 74.97%，表明在微調(diào)之后，測試數(shù)據(jù)中四分之三的瑕疵可以完全消除。此外，他們的方法沒有引入額外瑕疵，添加率為 0。

本文在下圖中提供了使用與未使用該文方法改進(jìn) GAN-SR 模型的結(jié)果的視覺比較。與原始的模型結(jié)果相比，改進(jìn)的 GAN-SR 模型生成的結(jié)果在視覺質(zhì)量上更好，沒有明顯的 GAN-SR 瑕疵。所有這些實(shí)驗(yàn)結(jié)果證明了本文方法能有效的緩解模型在處理真實(shí)的低清圖片時會出現(xiàn)的瑕疵。

為了進(jìn)一步驗(yàn)證本文 DeSRA 微調(diào)策略的有效性，研究團(tuán)隊(duì)進(jìn)行了兩項(xiàng)用戶研究。第一項(xiàng)是比較原始 GAN-SR 模型和微調(diào)后的 GAN-SR 模型生成的結(jié)果。對于這個實(shí)驗(yàn)，比較的重心是圖片中是否存在明顯的偽影。研究團(tuán)隊(duì)產(chǎn)生了共 20 組圖像，每組包含 GAN-SR 模型和微調(diào)后的 GAN-SR 模型的輸出結(jié)果。這些圖像被隨機(jī)打亂。共有 15 人參與了用戶研究，并為每組選擇他們認(rèn)為偽影較少的圖像。最終的統(tǒng)計(jì)結(jié)果如圖 9 所示。82.23% 的參與者認(rèn)為微調(diào)后的 GAN-SR 模型生成的結(jié)果較少存在偽影?？梢钥闯?，本文方法在很大程度上消除了原始模型產(chǎn)生的瑕疵。

第二項(xiàng)是對微調(diào)的 GAN-SR 模型和原始的 MSE-SR 模型結(jié)果的比較。這個實(shí)驗(yàn)是為了比較模型生成的結(jié)果是否有更多的細(xì)節(jié)。研究團(tuán)隊(duì)總共產(chǎn)生了 20 組圖像，每組圖像包含了 MSE-SR 模型和微調(diào)的 GAN-SR 模型的輸出結(jié)果。這些圖像被隨機(jī)打亂?？偣灿?15 個人參加用戶研究，并為每組選擇他們認(rèn)為有更多細(xì)節(jié)的圖像。最終的統(tǒng)計(jì)結(jié)果如圖 9 所示。93% 的參與者認(rèn)為微調(diào)的 GAN-SR 模型生成的結(jié)果有著更多的細(xì)節(jié)?？梢钥闯?，微調(diào)的 GAN-SR 模型仍然比 MSE-SR 模型能夠生成更多的細(xì)節(jié)。

結(jié)論

在這項(xiàng)工作中，研究團(tuán)隊(duì)分析了 GAN 在推理階段引入的瑕疵，并提出了方法來檢測和消除這些瑕疵。具體而言，他們首先計(jì)算了 MSE-SR 和 GAN-SR 的相對局部方差，并進(jìn)一步結(jié)合語義信息來定位有瑕疵的區(qū)域。在檢測到存在瑕疵的區(qū)域后，他們使用基于 MSE 的結(jié)果作為偽高清圖片來微調(diào)模型。通過僅使用少量數(shù)據(jù)，微調(diào)的模型可以成功消除原始模型在推理過程中的瑕疵。實(shí)驗(yàn)結(jié)果顯示了他們的方法在檢測和去除瑕疵方面的優(yōu)越性，并且顯著提高了 GAN-SR 模型在實(shí)際應(yīng)用中的能力。

在線持續(xù)學(xué)習(xí)

本文方法可以與持續(xù)學(xué)習(xí)相結(jié)合，從而提供一個新的范式來解決在線推理階段中出現(xiàn)的瑕疵問題。例如，對于處理真實(shí)世界數(shù)據(jù)的在線超分辨率系統(tǒng)，可以使用研究團(tuán)隊(duì)的檢測流程來檢測復(fù)原的結(jié)果是否具有 GAN-inference 瑕疵。然后，他們可以使用檢測到的帶有瑕疵的圖像快速對超分辨率模型進(jìn)行微調(diào)，使其能夠處理類似的瑕疵，直到系統(tǒng)遇到新的 GAN-inference 瑕疵。持續(xù)學(xué)習(xí)已經(jīng)在高層視覺任務(wù)上得到廣泛研究，但尚未應(yīng)用于超分辨率。研究團(tuán)隊(duì)希望在未來研究這個問題，因?yàn)樗梢詷O大地推進(jìn) GAN-SR 方法在實(shí)際場景中的應(yīng)用。