CVPR 2022 | 一鍵解鎖微軟亞洲研究院計算機視覺領域前沿進展!

01

02

論文鏈接：https://yudeng.github.io/GRAM/
傳統(tǒng)的生成對抗網(wǎng)絡（GAN）已經(jīng)具備生成以假亂真二維圖像的能力。但它們并不考慮生成圖像中物體背后的三維幾何性質(zhì)，因此無法生成物體的多視角圖像。近兩年，一些能夠?qū)崿F(xiàn)三維視角控制的生成對抗網(wǎng)絡逐漸出現(xiàn)。給定一類物體的單視角圖像集作為訓練數(shù)據(jù)，這些方法可以利用圖像上的對抗學習過程生成物體的多視角圖像。實現(xiàn)這一點的關鍵因素是將物體的三維表達與圖像生成過程相結(jié)合，其中最先進的方法利用了神經(jīng)輻射場（NeRF）作為物體表達。
然而，已有的、基于 NeRF 的生成對抗網(wǎng)絡的圖像生成質(zhì)量與傳統(tǒng)的二維圖像生成對抗網(wǎng)絡仍有較大的差距。研究員們觀察到，造成這一問題的一個重要原因是 NeRF 的體渲染過程與對抗學習過程相結(jié)合時內(nèi)存開銷較大，限制了體渲染時每條光線允許的采樣點個數(shù)。在采樣點數(shù)量有限時，NeRF 表征不能有效的處理物體的精細幾何紋理，且其渲染圖像中含有明顯的噪聲圖案，嚴重影響了對抗學習過程的穩(wěn)定性。
本文提出了一種新型的神經(jīng)輻射流形表達來解決 NeRF 與對抗學習結(jié)合時的上述問題。神經(jīng)輻射流形將輻射場的學習與圖像渲染時的采樣點限制在三維空間中的一簇二維曲面流形上，有助于網(wǎng)絡在曲面上學習物體的精細結(jié)構，并有效避免了圖像渲染時的噪聲圖案。實驗表明，基于神經(jīng)輻射流形表征，研究員們極大地提高了生成圖像的真實感與其視角變化下的三維一致性。
圖2：基于神經(jīng)輻射流形的圖像生成過程示意圖

03

 論文鏈接：https://www.microsoft.com/en-us/research/publication/styleswin-Transformer-based-gan-for-high-resolution-image-generation/
以生成對抗網(wǎng)絡為代表的圖像生成模型在過去幾年間取得了巨****展。其早期的研究主要集中在讓對抗訓練更加穩(wěn)定，而近年來生成質(zhì)量的突破則主要受益于更具表達能力的網(wǎng)絡的提出，如引入注意力機制、采用更大的網(wǎng)絡以及 Style-based 生成器。
近期，Transformer 獲得了極大的關注，并在一系列判別任務中取得巨大成功。受此啟發(fā)，微軟亞洲研究院的研究員們嘗試探究 Transformer 的一系列優(yōu)異特性，尤其是長距離建模能力，是否對生成任務也有幫助。而構建基于 Transformer 的生成器網(wǎng)絡，就需要克服在高分辨率圖像生成時計算復雜度過高的問題。為此研究員們采用了微軟亞洲研究院提出的 Swin Transformer 作為基本模塊，以在計算復雜度和模型表達能力間取得良好的平衡。
研究員們還進一步提出了若干改進，使得 Swin Transformer 可以更好的適配圖像生成任務。首先，整個生成器采用了 Style-based 結(jié)構，并探究若干種適于 Transformer 模塊的風格注入機制。其次，研究員們提出用 double attention 來代替 Swin Transformer 中的重疊窗口，使得每一層 Transformer 模塊有更大的注意力范圍。此外，研究員們指出對于生成模型，有必要同時采用相對位置編碼和絕對位置編碼。
圖3：（左）StyleSwin 網(wǎng)絡結(jié)構，（右）256x256生成結(jié)果穩(wěn)定超越 StyleGAN
更重要的，研究員們發(fā)現(xiàn)局部窗口內(nèi)計算注意力會有產(chǎn)生類似于 DCT 壓縮時的塊狀瑕疵（blocking artifact），這個問題僅在生成任務中才會被注意到。為此，研究員們提出了基于小波變換的判別器模型在頻域空間識別這種塊狀瑕疵的方法，有效提升了肉眼感知下的生成質(zhì)量。
本文提出的 StyleSwin 在若干數(shù)據(jù)集，F(xiàn)FHQ, CelebA-HQ, LSUN church, LSUN car等標準數(shù)據(jù)集上都取得了有競爭力的生成質(zhì)量。在256x256分辨率上，StyleSwin 超越了現(xiàn)有所有 GAN 的方法，在1024x1024分辨率上取得和 StyleGAN2 相當?shù)膱D像質(zhì)量。本文的意義在于首次驗證了 Transformer 模型在高分辨率、高質(zhì)量圖像生成任務中的有效性，對生成網(wǎng)絡基礎網(wǎng)絡的發(fā)展做出了新的啟發(fā)。

04

論文鏈接：https://arxiv.org/abs/2111.14822
文本到圖像的生成是近些年來的一個熱點生成問題。之前的相關工作主要分為生成對抗網(wǎng)絡和自回歸模型兩大類。生成對抗網(wǎng)絡受限于擬合能力，往往只能擬合單個場景或者類別的圖像。自回歸模型則將圖像生成問題轉(zhuǎn)換成了序列化生成問題，然而，該方法具有單向偏差、誤差累積的問題，并且生成圖像的速度較慢。本文提出了一種新型生成模型，量化去噪擴散模型（VQ-Diffusion），該方法能很好地解決以上問題。具體來說，該方法首先利用矢量量化變分自編碼器（VQVAE）將圖像編碼成離散編碼，再利用條件化的去噪擴散模型（DDPM）擬合隱空間的分布。
與連續(xù)空間的量化去噪模型不同，為了擬合離散的數(shù)據(jù)分布，研究員們利用概率轉(zhuǎn)移矩陣而不是高斯噪聲，在去噪擴散模型的加噪步驟中對目標分布加噪。具體來說，本文提出了遮擋與替換的加噪策略，可以成功地避免誤差累積的問題。此外，通過利用雙向注意力機制進行去噪，該方法避免了單向偏差的問題。本文還提出了給離散擴散模型加上重參數(shù)化技巧，從而有效地平衡生成速度和圖像質(zhì)量。量化去噪擴散模型的示意圖如圖4所示：
圖4：VQ-Diffusion 的算法流程圖
本文在很多文本到圖像生成的數(shù)據(jù)集上做了實驗，包括 CUB-200，Oxford-102，以及 MSCOCO。與自回歸模型相比，采用相似參數(shù)量時，量化擴散模型能在生成速度快15倍的情況下，獲得更好的生成結(jié)果。與之前基于生成對抗網(wǎng)絡的文本到圖像生成的方法相比，該算法則能處理更復雜的場景，極大提升生成圖像的質(zhì)量。此外，該方法還具有普適性，可用于無條件圖像生成（如 FFHQ）和條件圖像生成（如 ImageNet）。

05

06

論文鏈接：https://arxiv.org/abs/2203.07004
作為一種自監(jiān)督學習方法，對比學習近年來被當作預訓練的主要方法廣泛應用于視頻和圖像領域。由于對比學習使用數(shù)據(jù)的不同“視角”互相監(jiān)督，學習到的數(shù)據(jù)表示往往只包含“視角”之間的的共享信息，而排斥它們的非共享信息。換言之，對比學習最終的結(jié)果是學習到了不同“視角”之間的最小充分表示。這樣就產(chǎn)生了一個疑問——被排斥掉的非共享信息是不是包含對下游任務有貢獻的內(nèi)容？由于“視角”的產(chǎn)生高度依賴增強方法，而下游任務相關的信息在預訓練階段往往是缺失的，所以從直觀上看這種可能性的確存在。
通過從信息論方面進行嚴謹?shù)耐评碜C明和實驗驗證，微軟亞洲研究院的研究員們發(fā)現(xiàn)最小充分表示排斥的非共享信息中確實包含下游任務相關的有用信息，從而揭示了對比學習有過擬到“視角”共享信息的風險。這種風險會嚴重降低預訓練模型的通用性和在下游任務上的性能。為此，研究員們認為對比學習應該學習“視角”之間的充分表示而不是最小充分表示，并且提出了一種簡單有效而且通用的方法：增加對比學習中“視角”之間的互信息。簡單來說，就是在學習“視角”共享信息的同時，也盡可能學習下游任務相關的非共享信息。在此基礎上，研究員們提出了兩種通用的預訓練策略，一種是通過重構輸入數(shù)據(jù)引入更多的原始輸入信息達到增加非共享信息的目的；另一種是通過加入正則項計算互信息的下限來直接提高互信。大量的實驗結(jié)果表明，我們提出的預訓練策略在分類，檢測和分割等一系列下游任務中都極大地提高了精度。
圖6：對比學習中充分表示和最小充分表示的信息分布圖

07

論文鏈接：https://arxiv.org/abs/2111.09886代碼地址：https://github.com/microsoft/SimMIM
掩碼信號建模（Masked Signal Modeling）是一種通過利用部分可見信息來預測不可見信息的預訓練方法。其在自然語言處理（NLP）領域中的應用——掩碼語言建模（Masked Language Modeling, MLM）已經(jīng)成為了 NLP 領域中最具代表性且應用最廣泛的預訓練方法。
事實上，在計算機視覺領域也出現(xiàn)了一系列使用掩碼圖像建模（Masked Image Modeling, MIM）來進行視覺模型預訓練的嘗試，但之前的方法往往需要引入額外的設計。本文中，研究員們提出了一種簡單的預訓練框架 SimMIM，證明了僅使用簡單的隨機掩碼策略以及單層線性****來恢復原始圖像信號就可以實現(xiàn)良好的視覺模型預訓練，并學習到高質(zhì)量的圖像表征。
圖7：SimMIM 使用簡單的隨機掩碼策略和一個輕量的單層線性****來重構圖像的原始信號，并使用簡單的 l1 損失函數(shù)進行預訓練。

SimMIM 可以適配任意的基礎網(wǎng)絡，包括 ViT，Swin 以及 ConvNets。如圖8（左）所示，在使用 ViT-B 時，SimMIM 取得了比其他方法更好的微調(diào)性能，同時花費的訓練成本更低。
圖8：（左）SimMIM 與其他方法在使用 ViT-B 時的性能比較。（右）SimMIM 在使用 Swin 時與有監(jiān)督預訓練（Supervised Pre-training）的比較。
圖8（右）則展示了 SimMIM 在使用 Swin 時取得了比有監(jiān)督預訓練（Supervised pre-training）更好的性能，并且模型越大，SimMIM 的優(yōu)勢就越明顯，這說明 SimMIM 是一個良好的模型擴展學習器（model scalable learner）。通過使用 SimMIM，具有3B參數(shù)量的 Swin-G 可以在 ImageNet-1K 圖像分類任務中取得90.2%的 Top-1 Acc。
SimMIM 不僅適用于基于 Transformer 的網(wǎng)絡，其對 ConvNets 也同樣有效。ResNet-50×4 使用 SimMIM 可以取得81.6%的 Top-1 Acc，高于有監(jiān)督預訓練獲得的80.7%的結(jié)果。這些實驗證明了 SimMIM 的廣泛適用性。

08