arXiv最新NeRF文章 l Blended-NeRF：混合神經(jīng)輻射場中的零樣本物體生成和混合

Blended-NeRF是一個強大而靈活的框架，用于編輯NeRF場景中的特定興趣區(qū)域。該框架利用預訓練的語言-圖像模型和現(xiàn)有NeRF場景上初始化的3D MLP模型，根據(jù)文本提示或圖像塊合成并混合對象到原始場景中的指定區(qū)域。使用3D ROI框?qū)崿F(xiàn)局部編輯，并通過體積混合技術將合成內(nèi)容與現(xiàn)有場景融合。為了獲得逼真且一致的結果，該框架使用幾何先驗和3D增強技術提高視覺保真度。在定性和定量測試中，Blended-NeRF展示了比基準方法更大的靈活性和多樣性的逼真多視圖一致結果。此外，該框架適用于多種3D編輯應用。

近年來，在神經(jīng)隱式表示領域取得了重要的進展，特別是對于3D場景的隱式表示。NeRFs是一種基于MLP的神經(jīng)模型，可以通過體積渲染從有限數(shù)量的觀測生成高質(zhì)量的圖像。然而，編輯NeRF表示的場景是具有挑戰(zhàn)性的，因為場景是以隱式方式編碼的，而不是以顯式方式表示。此外，在NeRF表示的場景中混合新對象也是具有挑戰(zhàn)性的，需要在隱式表示的基礎上保持多個視角之間的一致性。與在圖像中進行局部編輯不同，現(xiàn)有的方法主要集中在局部部分的移除、顏色變化和形狀轉(zhuǎn)移等簡單操作上。本文提出了一種基于ROI的NeRF場景編輯方法，通過文本提示或圖像修補來引導。該方法具有通用性，可以應用于任何實際場景中的任何區(qū)域，并生成自然且與現(xiàn)有場景無縫融合的結果。為了實現(xiàn)局部編輯，我們利用預訓練的語言-圖像模型和現(xiàn)有的NeRF模型，結合深度信息和體積混合方法，實現(xiàn)了對指定區(qū)域的編輯。為了獲得更逼真、自然且一致的結果，我們還引入了增強和先驗，如深度正則化、姿態(tài)采樣和方向依賴的提示。經(jīng)過廣泛的實驗驗證，我們的方法在各種真實3D場景的編輯應用中取得了良好的效果。

神經(jīng)隱式表示在計算機視覺和圖形學領域中得到了廣泛的應用，包括2D和3D。其優(yōu)點之一是能夠捕捉復雜多樣的模式，并提供底層場景的連續(xù)表示。與高分辨率2D圖像的顯式表示，或者3D中的網(wǎng)格和點云相比，神經(jīng)隱式表示具有獨立于分辨率的緊湊性。NeRFs通過多層感知機(MLP)的權重學習將3D場景表示為連續(xù)體積和輻射場。給定3D位置

*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權請聯(lián)系工作人員刪除。