CVPR 2022 | 基于密度與深度分解的自增強非成對圖像去霧

為了克服在合成數(shù)據(jù)集上訓(xùn)練的去霧模型的過擬合問題，許多最近的方法試圖使用非成對數(shù)據(jù)進行訓(xùn)練來提高模型的泛化能力。然而其中大多數(shù)方法僅僅簡單地遵循 CycleGAN 的思路構(gòu)建去霧循環(huán)和上霧循環(huán)，卻忽略了現(xiàn)實世界中霧霾環(huán)境的物理特性，即霧霾對物體可見度的影響隨深度和霧氣密度而變化。

在本文中，我們提出了一種自增強的圖像去霧框架，稱為D4（Dehazing via Decomposing transmission map into Density and Depth），用于圖像去霧和霧氣生成。我們所提出的框架并非簡單地估計透射圖或清晰圖像，而是聚焦于探索有霧圖像和清晰圖像中的散射系數(shù)和深度信息。通過估計的場景深度，我們的方法能夠重新渲染具有不同厚度霧氣的有霧圖像，并用于訓(xùn)練去霧網(wǎng)絡(luò)的數(shù)據(jù)增強。值得注意的是，整個訓(xùn)練過程僅依靠非成對的有霧圖像和清晰圖像，成功地從單個有霧圖像中恢復(fù)了散射系數(shù)、深度圖和清晰內(nèi)容。

綜合實驗表明，我們的方法在參數(shù)量和 FLOP 更少的情況下去霧效果優(yōu)于最先進的非成對去霧方法。本工作是由京東探索研究院聯(lián)合天津大學(xué)、悉尼大學(xué)完成，已經(jīng)被CVPR2022 接收。

01

研究背景

霧霾是由氣溶膠粒子在大氣中的散射效應(yīng)引起的一種自然現(xiàn)象。它會嚴重影響圖片中的內(nèi)容的可見性，給人類和計算機視覺系統(tǒng)帶來影響。

借助深度神經(jīng)網(wǎng)絡(luò)強大的學(xué)習能力，大量的有監(jiān)督方法都已經(jīng)被提出并被應(yīng)用于圖像去霧。通過使用大量合成的有霧-清晰圖像對的訓(xùn)練，有監(jiān)督的深度去霧方法在特定的測試集上取得了令人滿意的結(jié)果。然而，合成的有霧圖像和真實世界的有霧圖像之間存在較大的差距。僅僅在成對圖像上進行訓(xùn)練的去霧模型很容易過擬合，從而導(dǎo)致在真實世界有霧圖像中泛化很差的現(xiàn)象。

而由于現(xiàn)實世界中有霧/清晰的圖像很難獲得，所以近年來，研究人員提出了許多使用非成對有霧/清晰圖像的深度學(xué)習方法來訓(xùn)練圖像去霧模型。其中，許多方法采用了基于CycleGAN[1] 的思想，來構(gòu)建去霧循環(huán)和上霧循環(huán)，從而可以在進行有霧圖像和清晰圖像進行轉(zhuǎn)換的同時保持內(nèi)容一致性。

然而，我們認為，簡單地使用 CycleGAN 的思想，通過網(wǎng)絡(luò)端到端地實現(xiàn)有霧圖像域和清晰圖像域之間的轉(zhuǎn)換并不能夠很好地解決非成對圖像去霧這一問題?，F(xiàn)有的基于構(gòu)建循環(huán)的去霧方法忽略了真實有霧環(huán)境的物理特性，即真實世界中的霧氣對圖像的影響隨著霧氣濃度和深度的變化而變化，這種關(guān)系已經(jīng)由大氣散射模型[2]給出描述，即一張有霧圖像可以表示為：

    （1）

其中，J(x)為清晰圖像，A為大氣光，可以使用[3]中的方法直接確定。t(x)為透射圖，可進一步表示為：

      （2）

其中 β 為散射系數(shù)，可表示霧氣的濃度，d(x)表示深度。如圖1（i）和（iii）-（e）所示，基于 CycleGAN 的方法傾向于合成具有固定厚度的霧氣，并且可能錯誤地模擬霧氣效應(yīng)，即，隨著場景深度的增加，霧氣應(yīng)該變得更厚。

本方法目標是在原始 CycleGAN 處理非成對圖像去霧方法的基礎(chǔ)上，引入考慮霧氣密度與場景深度的物理模型，使得模型在訓(xùn)練過程中可以合成更加真實且厚度有變化的霧氣，從而達到數(shù)據(jù)增強，進而提升模型去霧效果的目的。

圖1 （1）基于CycleGAN的非成對去霧圖示，（2）所提出的方法圖示及（3）結(jié)果對比

02

基于深度和密度分解的自增強非成

對圖像去霧方法

我們提出了一種基于深度和霧氣密度分解的自增強非成對圖像去霧框架。其訓(xùn)練過程包括兩個分支，去霧-上霧分支和上霧-去霧分支。如圖2上半部分，在去霧-上霧分支中，一張有霧圖像  首先輸入去霧網(wǎng)絡(luò)  中得到估計的透射圖  和估計的散射系數(shù) ，進一步通過式(1)合成清晰圖像   。

同時，根據(jù)式(2)，其深度  可以通過估計的透射圖和散射系數(shù)一并求出。之后將  輸入深度估計網(wǎng)絡(luò)  ，得到估計的深度圖  。然后使用得到的深度圖  和先前得到的散射系數(shù)  根據(jù)式(1)、(2)得到粗有霧圖像，再經(jīng)過細化網(wǎng)絡(luò)  得到最終的上霧圖像   。而在上霧-去霧分支中，如圖2下半部分，起點則變?yōu)榱饲逦鷪D像   。

其首先輸入深度估計網(wǎng)絡(luò)  得到估計的深度  ，結(jié)合在均勻分布里隨機采樣的散射因子  ，根據(jù)式(1)、(2)得到粗上霧圖像，再經(jīng)過細化網(wǎng)絡(luò)  得到上霧圖像   。得到的上霧圖像再經(jīng)過去霧網(wǎng)絡(luò)  得到估計的透射圖  和估計的散射系數(shù)  ，進一步通過式(1)合成清晰圖像   。

其中對散射因子  進行隨機采樣是我們的一個創(chuàng)新點，因為自然界中的霧氣是有著輕重薄厚之分的，所以通過對散射因子  進行隨機采樣并輸入到下面的霧氣合成部分，我們的網(wǎng)絡(luò)便可以在訓(xùn)練過程中提供富于薄厚變化的霧氣，從而達到自增強的目的。

圖2 框架訓(xùn)練過程示意圖

注意這里  與  是非成對的清晰/有霧圖像。為了保證整個框架能夠正常訓(xùn)練，我們使用了若干項損失函數(shù)，包括循環(huán)一致性損失，對抗損失，偽散射因子監(jiān)督損失和偽深度監(jiān)督損失。

循環(huán)一致性損失要求在兩個分支中，重建的有霧圖像   應(yīng)當與給定的有霧圖像  一致，重建的清晰圖像   應(yīng)當與給定的清晰圖像  一致。其目的是保持圖像內(nèi)容的一致性。循環(huán)一致性損失  表示為：

對抗損失評估生成的圖像是否屬于特定域。換句話說，它約束我們的去霧和再霧化圖像應(yīng)該是視覺上逼真的，并且分別遵循與訓(xùn)練集  和   中的圖像具有相同的分布。對于去霧網(wǎng)絡(luò)  和對應(yīng)的判別器  ，對抗損失可以表示為：

其中  是從清晰圖像集合  中采樣得到的真實清晰圖像樣本。  是通過去霧網(wǎng)絡(luò)  得到的去霧結(jié)果。  是用于判斷輸入圖像是否屬于清晰域的判別器。相對應(yīng)的，圖像細化網(wǎng)絡(luò)  和對應(yīng)的判別器  所使用的對抗損失可以表示為：

其中  是從有霧圖像集合  中采樣得到的真實有霧圖像樣本。   是通過細化網(wǎng)絡(luò)  得到的上霧圖片。  是用于判斷輸入圖像是否屬于有霧域的判別器。

由于并不存在直接可用的成對深度信息與成對的散射因子信息用于訓(xùn)練深度估計網(wǎng)絡(luò)和散射因子估計網(wǎng)絡(luò)。我們引入了偽散射因子監(jiān)督損失和偽深度監(jiān)督損失來訓(xùn)練這兩個子網(wǎng)絡(luò)。

偽散射因子監(jiān)督損失是指在上霧-去霧分支中，由去霧網(wǎng)絡(luò)  預(yù)測的散射因子  應(yīng)當與隨機生成的  的值保持一致。其可以表示為：

偽深度監(jiān)督損失是指在去霧-上霧分支中，由深度網(wǎng)絡(luò)  預(yù)測的深度  應(yīng)當與由  和  求出的  保持一致。其可以表示為：

其中深度估計網(wǎng)絡(luò)  直接由深度估計損失  優(yōu)化，其余的模塊則由 λλλ 優(yōu)化，其中 λλ 。

03

實驗結(jié)果

表1 各方法在各數(shù)據(jù)集上的性能表現(xiàn)

我們將所提出的方法與其他有監(jiān)督，無監(jiān)督以及非成對的去霧方法進行了對比，其中有監(jiān)督的對比方法包括 EPDN[4]、FFANet[5]、HardGAN[6]、PSD[7]，非成對方法包括CycleGAN[1], CycleDehaze[8], DisentGAN[9], RefineDNet[10]，無監(jiān)督方法包括DCP[3]，YOLY[11]。

定量實驗結(jié)果比較。為了驗證我們的方法相較于有監(jiān)督的方法有著更好的泛化性能，相較于其他無監(jiān)督或非成對方法也有更好的去霧性能，我們在 SOTS-indoor 數(shù)據(jù)集上對這些方法進行訓(xùn)練并在其他數(shù)據(jù)集上測試它們的性能。同時我們還測試了這些方法的模型參數(shù)量和 FLOPs 用來測試這些模型的效率。結(jié)果如表1所示。

定性實驗結(jié)果比較。為了驗證我們的方法相較于其他方法的優(yōu)勢，我們還在多個數(shù)據(jù)集以及真實有霧圖像上進行了定性的測試。其結(jié)果如圖3、圖4所示。其中圖3第一組，第二組圖像是 SOTS-indoor 的測試集，與訓(xùn)練集分布類似，可以看到 FFANet 去霧效果最好，我們的方法優(yōu)于除了 FFANet 的其余方法。

第三四張分別來自 SOTS-outdoor 和 IHAZE 數(shù)據(jù)集，與訓(xùn)練集分布不同?？梢钥闯鑫覀兊姆椒ㄏ噍^其他方法去霧更加徹底，且相對其他方法如 cycledehaze 顏色失真較小，生成的結(jié)果更加自然。圖4展示了兩個真實圖像去霧的例子，可以看到我們的方法去霧結(jié)果明顯好于其他方法，說明我們的模型泛化能力相對其他模型有著明顯優(yōu)勢。

除此之外，我們的方法還可以用于有霧圖像的生成，此類技術(shù)可以應(yīng)用于圖像或視頻編輯中，相較于其他的方法，我們的方法生成的有霧圖像可以隨意變化霧氣的薄厚程度，而且更加富有真實感，如圖5所示。

另外，區(qū)別于其他的非成對圖像去霧方法，我們的模型還支持對清晰圖像進行相對深度預(yù)測，其效果如圖6所示，雖然相比于其他有監(jiān)督的深度估計網(wǎng)絡(luò)，深度估計準確度有限，但我們的方法是首個能夠利用非成對的有霧/清晰圖像訓(xùn)練出了能夠估計場景深度的方法。

 圖3各個方法在測試集上的定性效果比較

圖4 各個方法在真實圖像上的去霧結(jié)果對比

圖5 所提出的方法在生成有霧圖像上的效果

圖6 所提出的方法在深度估計上的效果

04

結(jié)論

本文提出了一種自增強的非成對圖像去霧框架D4，該框架將透射圖的估計分解為對霧氣密度（散射因子）和深度圖的預(yù)測。根據(jù)估計的深度，我們的方法能夠重新渲染具有不同霧氣厚度的有霧圖像并且用作自增強，以提高模型去霧性能。充分的實驗驗證了我們的方法相對于其他去霧方法的優(yōu)越性。

但我們的方法也存在著局限性，它通常會過度估計極端明亮區(qū)域的透射圖，這將誤導(dǎo)深度估計網(wǎng)絡(luò)對過亮區(qū)域預(yù)測得到較小的深度值。并且我們發(fā)現(xiàn)低質(zhì)量的訓(xùn)練數(shù)據(jù)會導(dǎo)致訓(xùn)練不穩(wěn)定。盡管如此，我們提出的在物理模型中的變量進一步分解思路可以擴展到其他任務(wù)，比如低光照增強等。希望我們的方法能夠啟發(fā)未來的工作，尤其是底層視覺中的非成對學(xué)習任務(wù)。

文章：https://openaccess.thecvf.com/content/CVPR2022/html/Yang_Self-Augmented_Unpaired_Image_Dehazing_via_Density_and_Depth_Decomposition_CVPR_2022_paper.html

代碼：代碼已公布 https://github.com/YaN9-Y/D4

參考文獻

[1] Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A Efros. Unpaired image-to-image translation using cycle- consistent adversarial networks. In ICCV, pages 2223–2232, 2017

[2] Srinivasa G Narasimhan and Shree K Nayar. Chromatic framework for vision in bad weather. In CVPR, volume 1, pages 598–605, 2000.

[3] Kaiming He, Jian Sun, and Xiaoou Tang. Single im- age haze removal using dark channel prior. IEEE TPAMI, 33(12):2341–2353, 2010.

[4] Yanyun Qu, Yizi Chen, Jingying Huang, and Yuan Xie. En- hanced pix2pix dehazing network. In CVPR, pages 8160– 8168, 2019.

[5] Xu Qin, Zhilin Wang, Yuanchao Bai, Xiaodong Xie, and Huizhu Jia. Ffa-net: Feature fusion attention network for single image dehazing. In AAAI, volume 34, pages 11908– 11915, 2020

[6] Qili Deng, Ziling Huang, Chung-Chi Tsai, and Chia-Wen Lin. Hardgan: A haze-aware representation distillation gan for single image dehazing. In ECCV, pages 722–738.

[7] Zeyuan Chen, Yangchao Wang, Yang Yang, and Dong Liu. Psd: Principled synthetic-to-real dehazing guided by phys- ical priors. In CVPR, pages 7180–7189, June 2021. [8] Shiwei Shen, Guoqing Jin, Ke Gao, and Yongdong Zhang. Ape-gan: Adversarial perturbation elimination with gan. arXiv preprint arXiv:1707.05474, 2017.

[8] Deniz Engin, Anil Genc?, and Hazim Kemal Ekenel.  Cycle- dehaze: Enhanced cyclegan for single image dehazing. In CVPRW, pages 825–833, 2018.

[9] Xitong Yang, Zheng Xu, and Jiebo Luo. Towards percep- tual image dehazing by physics-based disentanglement and adversarial training. In AAAI, volume 32, pages 7485–7492, 2018.

[10] Shiyu Zhao, Lin Zhang, Ying Shen, and Yicong Zhou. Refinednet: A weakly supervised refinement framework for sin- gle image dehazing. IEEE TIP, 30:3391–3404, 2021.

[11] Boyun Li, Yuanbiao Gou, Shuhang Gu, Jerry Zitao Liu, Joey Tianyi Zhou, and Xi Peng. You only look yourself: Unsupervised and untrained single image dehazing neural net- work. IJCV, 129(5):1754–1767, 2021.