博客專(zhuān)欄

EEPW首頁(yè) > 博客 > 檢測(cè)并消除瑕疵,DeSRA讓真實(shí)場(chǎng)景超分中的GAN更加完美

檢測(cè)并消除瑕疵,DeSRA讓真實(shí)場(chǎng)景超分中的GAN更加完美

發(fā)布人:數(shù)據(jù)派THU 時(shí)間:2023-08-22 來(lái)源:工程師 發(fā)布文章
真實(shí)場(chǎng)景超分中 GAN 帶來(lái)的瑕疵困擾你嗎?

使用生成對(duì)抗網(wǎng)絡(luò)(GAN)進(jìn)行圖像超分辨率(SR)已經(jīng)在恢復(fù)逼真細(xì)節(jié)方面取得了巨大成功。然而,眾所周知,基于 GAN 的 SR 模型會(huì)產(chǎn)生令人難以接受的偽影,特別是在實(shí)際場(chǎng)景中。以往的研究通常在訓(xùn)練階段通過(guò)額外的損失懲罰來(lái)抑制瑕疵,但這些方法只適用于訓(xùn)練過(guò)程中生成的同分布下的瑕疵類(lèi)型。而當(dāng)這些方法應(yīng)用于真實(shí)世界場(chǎng)景中時(shí),我們觀察到這些方法在推理過(guò)程中仍然會(huì)產(chǎn)生明顯的瑕疵。針對(duì)此,來(lái)自騰訊 ARC Lab,XPixel 團(tuán)隊(duì)和澳門(mén)大學(xué)的研究者們提出了 DeSRA 的新方法并發(fā)表論文。它能夠?qū)υ谕评黼A段中產(chǎn)生的超分瑕疵進(jìn)行檢測(cè)并消除。該論文被 ICML 2023 所接收。

圖片


  • 論文鏈接:

  • https://arxiv.org/abs/2307.02457

  • 代碼鏈接:

  • https://github.com/TencentARC/DeSRA



“GAN 訓(xùn)練時(shí)出現(xiàn)的瑕疵” 與 “GAN 推理時(shí)出現(xiàn)的瑕疵”


基于 GAN 的方法在生成帶有紋理的逼真復(fù)原結(jié)果方面取得了巨大成功。BSRGAN [1] 和 Real-ESRGAN [2] 將基于 GAN 的模型擴(kuò)展到了真實(shí)場(chǎng)景應(yīng)用,展示了它們恢復(fù)真實(shí)世界圖像紋理的能力。然而, GAN-SR 方法經(jīng)常會(huì)生成令人視覺(jué)上難以接受的偽影,嚴(yán)重影響用戶體驗(yàn)。這個(gè)問(wèn)題在真實(shí)世界場(chǎng)景中更加嚴(yán)重,因?yàn)榈头直媛蕡D像的退化是未知且復(fù)雜的。


圖片

第一列:低清輸入;第二列:現(xiàn)有超分方法引起瑕疵;第三列:DeSRA 檢測(cè)出瑕疵區(qū)域;第四列:DeSRA 去除瑕疵
為了緩解瑕疵的生成,LDL [3] 通過(guò)分析紋理類(lèi)型,計(jì)算每個(gè)像素是瑕疵的概率,并在訓(xùn)練過(guò)程中通過(guò)增加損失進(jìn)而對(duì)瑕疵進(jìn)行抑制。雖然它確實(shí)改善了 GAN-SR 的結(jié)果,但我們?nèi)匀豢梢杂^察到 LDL 在推理真實(shí)世界測(cè)試數(shù)據(jù)時(shí)會(huì)存在明顯瑕疵,如上圖所示。因此,僅僅通過(guò)改善模型的訓(xùn)練很難解決這些瑕疵問(wèn)題,因?yàn)檫@些瑕疵在 GAN-SR 模型的訓(xùn)練過(guò)程中可能并不出現(xiàn)。
這里我們區(qū)分一下 GAN 訓(xùn)練出現(xiàn)的瑕疵和測(cè)試出現(xiàn)的瑕疵:

  • GAN 訓(xùn)練出現(xiàn)的瑕疵(GAN-training artifacts):出現(xiàn)在訓(xùn)練階段,主要是由于訓(xùn)練時(shí)網(wǎng)絡(luò)優(yōu)化的不穩(wěn)定和在同分布數(shù)據(jù)上的 SR 的 ill-pose 導(dǎo)致。在有干凈的高清圖像存在的情況下,可以在訓(xùn)練過(guò)程中對(duì)這些瑕疵加以約束,進(jìn)而緩解瑕疵的生成,如 LDL [3]。
  • GAN 推理出現(xiàn)的瑕疵(GAN-inference artifacts):出現(xiàn)在推理階段,這些偽影通常是在真實(shí)世界未見(jiàn)過(guò)的數(shù)據(jù)中出現(xiàn)的。這些瑕疵通常不在訓(xùn)練數(shù)據(jù)的分布中,并不會(huì)在訓(xùn)練階段出現(xiàn)。因此,通過(guò)改善訓(xùn)練過(guò)程的方法(例如 LDL [3])無(wú)法解決這些瑕疵問(wèn)題。


處理 GAN 推理時(shí)產(chǎn)生的瑕疵是一項(xiàng)新的、具有挑戰(zhàn)性的任務(wù)。首先真實(shí)場(chǎng)景的低分辨率圖片沒(méi)有對(duì)應(yīng)的高清圖片。此外,由于這些偽影在訓(xùn)練集中可能很少甚至從未出現(xiàn)過(guò),因此很難模擬這些瑕疵。換句話說(shuō),這些瑕疵對(duì)于模型來(lái)說(shuō)是未知的,而且超出了其訓(xùn)練數(shù)據(jù)的分布范圍。解決這個(gè)問(wèn)題是將 GAN-SR 模型應(yīng)用于實(shí)際場(chǎng)景的關(guān)鍵,具有重要的實(shí)用價(jià)值。


檢測(cè) GAN 推理時(shí)出現(xiàn)的瑕疵


圖片


在本文中,研究團(tuán)隊(duì)專(zhuān)注于處理 GAN 推理時(shí)產(chǎn)生的瑕疵。這些瑕疵對(duì)實(shí)際的應(yīng)用有很大的負(fù)面影響,因此解決它們具有很大的實(shí)際價(jià)值。由于這些瑕疵的復(fù)雜性和多樣性,一次性解決所有瑕疵是具有挑戰(zhàn)性的。


本文主要處理有著以下兩個(gè)特征的瑕疵:


  • 這些瑕疵不會(huì)出現(xiàn)在預(yù)訓(xùn)練的 MSE-SR 模型中。

  • 這些瑕疵很明顯且面積較大,能夠很容易被人眼捕捉到。上圖展示了一些包含這些瑕疵的樣例。


對(duì)于前一特征,研究團(tuán)隊(duì)希望確保瑕疵是由 GAN 引起的,而相應(yīng)的 MSE-SR 結(jié)果對(duì)于測(cè)試數(shù)據(jù)是良好的參考結(jié)果,從而區(qū)分瑕疵。其原理在于,GAN 瑕疵的呈現(xiàn)通常是有著過(guò)多不需要的高頻 “細(xì)節(jié)”。換句話說(shuō),研究團(tuán)隊(duì)引入 GAN 訓(xùn)練來(lái)生成精細(xì)的細(xì)節(jié),但他們不希望 GAN 生成的內(nèi)容與 MSE-SR 的結(jié)果相差太大。注意,即使對(duì)于沒(méi)有見(jiàn)過(guò)的真實(shí)場(chǎng)景的測(cè)試數(shù)據(jù),MSE-SR 結(jié)果也很容易獲得,因?yàn)槲覀兺ǔJ腔?MSE-SR 模型進(jìn)行微調(diào)以獲得 GAN-SR 模型。對(duì)于后一特征,之所以優(yōu)化考慮那些明顯且占據(jù)較大區(qū)域的瑕疵,是因?yàn)檫@種類(lèi)型的瑕疵對(duì)人的感知有很大影響。


具體的,研究團(tuán)隊(duì)首先設(shè)計(jì)了一個(gè)定量指標(biāo),通過(guò)計(jì)算局部方差來(lái)衡量 MSE-based 和 GAN-based 模型生成結(jié)果之間的紋理差異。該指標(biāo)總共包含著以下幾個(gè)部分。


  • 局部紋理復(fù)雜性:局部區(qū)域 P 內(nèi)像素強(qiáng)度的標(biāo)準(zhǔn)差 σ(i, j) 來(lái)表示局部紋理


圖片


  • 絕對(duì)紋理差異 d:兩個(gè)局部區(qū)域的標(biāo)準(zhǔn)差(x 表示 GAN-SR 區(qū)域,y 表示 MSE-SR 區(qū)域)


圖片


  • 相對(duì)紋理差異 d’:


圖片


  • 歸一化到 [0, 1]:


圖片


  • 引入一個(gè)常數(shù) C:處理分母相對(duì)較小的情況

圖片


在獲得紋理差異圖 D 后,可以利用它來(lái)確定需要處理的區(qū)域。然而,僅僅使用紋理復(fù)雜度的差異作為判斷依據(jù)是不夠的,因?yàn)椴煌Z(yǔ)義區(qū)域的感知容忍度是不同的。例如,復(fù)雜紋理區(qū)域中的細(xì)節(jié),如植被、頭發(fā)等,很難被感知為瑕疵,而平滑或規(guī)則紋理區(qū)域中的像素差異較大,例如海洋、天空和建筑物,對(duì)人類(lèi)感知敏感,容易被看作瑕疵。因此,研究團(tuán)隊(duì)我根據(jù)語(yǔ)義信息對(duì)偽影圖 D 進(jìn)行了進(jìn)一步的調(diào)整,得到圖片,下圖的第六列。


圖片


最后,研究團(tuán)隊(duì)通過(guò)形態(tài)學(xué)操作來(lái)獲得最終的瑕疵檢測(cè)結(jié)果,即下圖的第七列。具體來(lái)說(shuō),他們首先使用一個(gè) 5×5 全為 1 的矩陣進(jìn)行腐蝕操作。然后,使用該矩陣進(jìn)行膨脹操作以連接不連續(xù)的區(qū)域。接下來(lái),使用一個(gè) 3×3 全為 1 的矩陣來(lái)填充地圖中的空洞。最后,過(guò)濾掉離散的小區(qū)域作為檢測(cè)噪聲。
去除 GAN 推理時(shí)出現(xiàn)的瑕疵


對(duì)復(fù)原結(jié)果中瑕疵的檢測(cè)本身具有很大的實(shí)際價(jià)值?;谠摻Y(jié)果,研究團(tuán)隊(duì)希望進(jìn)一步改進(jìn) GAN-SR 模型??紤]到對(duì)于實(shí)際應(yīng)用而言,有著明顯的瑕疵往往是用戶無(wú)法容忍的,而沒(méi)有瑕疵的弱恢復(fù)結(jié)果(細(xì)節(jié)少一點(diǎn))比帶有瑕疵的強(qiáng)恢復(fù)結(jié)果更可接受。因此,他們利用 MSE-SR 結(jié)果作為模型輸出的參考。如下圖所示,研究團(tuán)隊(duì)使用 MSE-SR 結(jié)果替換在 GAN-SR 結(jié)果中檢測(cè)到瑕疵的區(qū)域。合并的圖像用作偽高清圖片(偽 GT)。
圖片
其中圖片表示生成的偽 GT,圖片圖片分別是 MSE-SR 和 GAN-SR 結(jié)果,(?) 表示逐元素相乘,M 是檢測(cè)到的偽影地圖。然后,研究團(tuán)隊(duì)使用少量數(shù)據(jù)從真實(shí)數(shù)據(jù)中生成數(shù)據(jù)對(duì)(x,圖片)來(lái)微調(diào)模型,其中 x 表示 LR 數(shù)據(jù)。只需要進(jìn)行少量迭代的微調(diào)(在本次實(shí)驗(yàn)中大約 1K 次迭代就足夠了),更新后的模型將產(chǎn)生視覺(jué)感知良好且沒(méi)有明顯瑕疵的結(jié)果。此外,它不會(huì)影響沒(méi)有瑕疵的區(qū)域中的細(xì)節(jié)。這種方法的工作機(jī)制是通過(guò)微調(diào)過(guò)程將合成數(shù)據(jù)的分布與實(shí)際數(shù)據(jù)的分布之間的差距縮小,從而減輕 GAN-inference 中的瑕疵問(wèn)題。



圖片


實(shí)驗(yàn)評(píng)估與分析

研究團(tuán)隊(duì)使用 Real-ESRGAN [2],LDL [3] 以及 SwinIR [4] 來(lái)驗(yàn)證他們的方法的有效性。考慮到現(xiàn)有的幾個(gè)真實(shí)世界的超分辨率數(shù)據(jù)集都假設(shè)了特定相機(jī)的退化情況,導(dǎo)致會(huì)與實(shí)際情況相差甚遠(yuǎn)。因此,他們構(gòu)建了一個(gè)人工標(biāo)注的瑕疵數(shù)據(jù)集。考慮到圖像內(nèi)容和退化的多樣性,他們使用 ImageNet 1K 的驗(yàn)證集作為真實(shí)世界的低分辨率數(shù)據(jù)。然后,選擇每種方法中有 200 張有 GAN-inference 瑕疵的圖像來(lái)構(gòu)建瑕疵數(shù)據(jù)集,并使用 labelme 手動(dòng)標(biāo)記瑕疵區(qū)域。這是首個(gè)用于 GAN-inference 瑕疵檢測(cè)的數(shù)據(jù)集。對(duì)于微調(diào)過(guò)程,他們對(duì) 200 張圖片進(jìn)行劃分,其中 50 張用于模型的微調(diào),另外 150 張作為驗(yàn)證集。


評(píng)估指標(biāo)


由于缺乏真實(shí)世界低分辨率數(shù)據(jù)的高清參考圖片,經(jīng)典指標(biāo)如 PSNR、SSIM 無(wú)法采用。因此,研究團(tuán)隊(duì)考慮三個(gè)指標(biāo)來(lái)評(píng)估檢測(cè)結(jié)果,包括 1) 檢測(cè)到的瑕疵區(qū)域與實(shí)際的(人工標(biāo)注的)瑕疵區(qū)域之間的交并比(IoU),2) 檢測(cè)結(jié)果的精確度和 3) 檢測(cè)結(jié)果的召回率。當(dāng)用 A 和 B 表示特定區(qū)域 z 的檢測(cè)到的瑕疵區(qū)域和實(shí)際的瑕疵區(qū)域時(shí),IoU 定義為:圖片


計(jì)算每個(gè)圖像的 IoU,并使用驗(yàn)證集上的平均 IoU 來(lái)評(píng)估檢測(cè)算法。較高的 IoU 意味著更好的檢測(cè)準(zhǔn)確性。然后,我們將檢測(cè)到的瑕疵區(qū)域集合定義為 S,正確樣本集合 T 定義為:

圖片


精確度 =圖片表示正確檢測(cè)的區(qū)域數(shù)(圖片)占總檢測(cè)到的區(qū)域數(shù)(圖片)的比例。


研究團(tuán)隊(duì)將實(shí)際的瑕疵區(qū)域定義為 G,并通過(guò)以下方式計(jì)算檢測(cè)到的 GT 瑕疵區(qū)域集合 R:

圖片

召回率 =圖片表示正確檢測(cè)到的 GT 瑕疵區(qū)域數(shù)(圖片)占總 GT 瑕疵區(qū)域數(shù)(圖片)的比例。其中,p 是一個(gè)閾值,研究團(tuán)隊(duì)根據(jù)經(jīng)驗(yàn)將其設(shè)置為 0.5。


瑕疵檢測(cè)結(jié)果


如下表所示,針對(duì) LDL 模型中的瑕疵檢測(cè)結(jié)果中,本文方法獲得了最好的 IoU 和 Precision,遠(yuǎn)遠(yuǎn)超過(guò)其他方案。需要注意的是,LDL 在 threshold=0.001 時(shí)獲得了最高的召回率。這是因?yàn)樵摲桨笇⒋蟛糠謪^(qū)域視為瑕疵,因此這種檢測(cè)結(jié)果幾乎沒(méi)有意義。Real-ESRGAN 和 SwinIR 的結(jié)果可以參考原文。


圖片

研究團(tuán)隊(duì)同時(shí)對(duì)比了使用 DeSRA 微調(diào)策略之前和之后的瑕疵檢測(cè)結(jié)果,結(jié)果如下表所示,當(dāng)應(yīng)用他們的 DeSRA 之后,Real-ESRGAN 的 IoU 從 51.1 降至 12.9,LDL 的 IoU 從 44.5 降至 13.9,說(shuō)明瑕疵區(qū)域的檢測(cè)面積大大減少。去除率分別為 75.43% 和 74.97%,表明在微調(diào)之后,測(cè)試數(shù)據(jù)中四分之三的瑕疵可以完全消除。此外,他們的方法沒(méi)有引入額外瑕疵,添加率為 0。


本文在下圖中提供了使用與未使用該文方法改進(jìn) GAN-SR 模型的結(jié)果的視覺(jué)比較。與原始的模型結(jié)果相比,改進(jìn)的 GAN-SR 模型生成的結(jié)果在視覺(jué)質(zhì)量上更好,沒(méi)有明顯的 GAN-SR 瑕疵。所有這些實(shí)驗(yàn)結(jié)果證明了本文方法能有效的緩解模型在處理真實(shí)的低清圖片時(shí)會(huì)出現(xiàn)的瑕疵。


圖片
圖片
User Study
圖片

為了進(jìn)一步驗(yàn)證本文 DeSRA 微調(diào)策略的有效性,研究團(tuán)隊(duì)進(jìn)行了兩項(xiàng)用戶研究。第一項(xiàng)是比較原始 GAN-SR 模型和微調(diào)后的 GAN-SR 模型生成的結(jié)果。對(duì)于這個(gè)實(shí)驗(yàn),比較的重心是圖片中是否存在明顯的偽影。研究團(tuán)隊(duì)產(chǎn)生了共 20 組圖像,每組包含 GAN-SR 模型和微調(diào)后的 GAN-SR 模型的輸出結(jié)果。這些圖像被隨機(jī)打亂。共有 15 人參與了用戶研究,并為每組選擇他們認(rèn)為偽影較少的圖像。最終的統(tǒng)計(jì)結(jié)果如圖 9 所示。82.23% 的參與者認(rèn)為微調(diào)后的 GAN-SR 模型生成的結(jié)果較少存在偽影??梢钥闯觯疚姆椒ㄔ诤艽蟪潭壬舷嗽寄P彤a(chǎn)生的瑕疵。


第二項(xiàng)是對(duì)微調(diào)的 GAN-SR 模型和原始的 MSE-SR 模型結(jié)果的比較。這個(gè)實(shí)驗(yàn)是為了比較模型生成的結(jié)果是否有更多的細(xì)節(jié)。研究團(tuán)隊(duì)總共產(chǎn)生了 20 組圖像,每組圖像包含了 MSE-SR 模型和微調(diào)的 GAN-SR 模型的輸出結(jié)果。這些圖像被隨機(jī)打亂??偣灿?15 個(gè)人參加用戶研究,并為每組選擇他們認(rèn)為有更多細(xì)節(jié)的圖像。最終的統(tǒng)計(jì)結(jié)果如圖 9 所示。93% 的參與者認(rèn)為微調(diào)的 GAN-SR 模型生成的結(jié)果有著更多的細(xì)節(jié)??梢钥闯觯⒄{(diào)的 GAN-SR 模型仍然比 MSE-SR 模型能夠生成更多的細(xì)節(jié)。


結(jié)論


在這項(xiàng)工作中,研究團(tuán)隊(duì)分析了 GAN 在推理階段引入的瑕疵,并提出了方法來(lái)檢測(cè)和消除這些瑕疵。具體而言,他們首先計(jì)算了 MSE-SR 和 GAN-SR 的相對(duì)局部方差,并進(jìn)一步結(jié)合語(yǔ)義信息來(lái)定位有瑕疵的區(qū)域。在檢測(cè)到存在瑕疵的區(qū)域后,他們使用基于 MSE 的結(jié)果作為偽高清圖片來(lái)微調(diào)模型。通過(guò)僅使用少量數(shù)據(jù),微調(diào)的模型可以成功消除原始模型在推理過(guò)程中的瑕疵。實(shí)驗(yàn)結(jié)果顯示了他們的方法在檢測(cè)和去除瑕疵方面的優(yōu)越性,并且顯著提高了 GAN-SR 模型在實(shí)際應(yīng)用中的能力。


在線持續(xù)學(xué)習(xí)


本文方法可以與持續(xù)學(xué)習(xí)相結(jié)合,從而提供一個(gè)新的范式來(lái)解決在線推理階段中出現(xiàn)的瑕疵問(wèn)題。例如,對(duì)于處理真實(shí)世界數(shù)據(jù)的在線超分辨率系統(tǒng),可以使用研究團(tuán)隊(duì)的檢測(cè)流程來(lái)檢測(cè)復(fù)原的結(jié)果是否具有 GAN-inference 瑕疵。然后,他們可以使用檢測(cè)到的帶有瑕疵的圖像快速對(duì)超分辨率模型進(jìn)行微調(diào),使其能夠處理類(lèi)似的瑕疵,直到系統(tǒng)遇到新的 GAN-inference 瑕疵。持續(xù)學(xué)習(xí)已經(jīng)在高層視覺(jué)任務(wù)上得到廣泛研究,但尚未應(yīng)用于超分辨率。研究團(tuán)隊(duì)希望在未來(lái)研究這個(gè)問(wèn)題,因?yàn)樗梢詷O大地推進(jìn) GAN-SR 方法在實(shí)際場(chǎng)景中的應(yīng)用。


參考文獻(xiàn):[1] BSRGAN: Designing a Practical Degradation Model for Deep Blind Image Super-Resolution.[2] Real-ESRGAN: Training real-world blind super-resolution with pure synthetic data.[3] LDL: Details or artifacts: A locally discriminative learning approach to realistic image super-resolution. [4] SwinIR: Image restoration using swin transformer.


*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。



關(guān)鍵詞: AI

相關(guān)推薦

技術(shù)專(zhuān)區(qū)

關(guān)閉