arXiv最新NeRF文章 l Blended-NeRF：混合神經(jīng)輻射場(chǎng)中的零樣本物體生成和混合

Blended-NeRF是一個(gè)強(qiáng)大而靈活的框架，用于編輯NeRF場(chǎng)景中的特定興趣區(qū)域。該框架利用預(yù)訓(xùn)練的語言-圖像模型和現(xiàn)有NeRF場(chǎng)景上初始化的3D MLP模型，根據(jù)文本提示或圖像塊合成并混合對(duì)象到原始場(chǎng)景中的指定區(qū)域。使用3D ROI框?qū)崿F(xiàn)局部編輯，并通過體積混合技術(shù)將合成內(nèi)容與現(xiàn)有場(chǎng)景融合。為了獲得逼真且一致的結(jié)果，該框架使用幾何先驗(yàn)和3D增強(qiáng)技術(shù)提高視覺保真度。在定性和定量測(cè)試中，Blended-NeRF展示了比基準(zhǔn)方法更大的靈活性和多樣性的逼真多視圖一致結(jié)果。此外，該框架適用于多種3D編輯應(yīng)用。

近年來，在神經(jīng)隱式表示領(lǐng)域取得了重要的進(jìn)展，特別是對(duì)于3D場(chǎng)景的隱式表示。NeRFs是一種基于MLP的神經(jīng)模型，可以通過體積渲染從有限數(shù)量的觀測(cè)生成高質(zhì)量的圖像。然而，編輯NeRF表示的場(chǎng)景是具有挑戰(zhàn)性的，因?yàn)閳?chǎng)景是以隱式方式編碼的，而不是以顯式方式表示。此外，在NeRF表示的場(chǎng)景中混合新對(duì)象也是具有挑戰(zhàn)性的，需要在隱式表示的基礎(chǔ)上保持多個(gè)視角之間的一致性。與在圖像中進(jìn)行局部編輯不同，現(xiàn)有的方法主要集中在局部部分的移除、顏色變化和形狀轉(zhuǎn)移等簡(jiǎn)單操作上。本文提出了一種基于ROI的NeRF場(chǎng)景編輯方法，通過文本提示或圖像修補(bǔ)來引導(dǎo)。該方法具有通用性，可以應(yīng)用于任何實(shí)際場(chǎng)景中的任何區(qū)域，并生成自然且與現(xiàn)有場(chǎng)景無縫融合的結(jié)果。為了實(shí)現(xiàn)局部編輯，我們利用預(yù)訓(xùn)練的語言-圖像模型和現(xiàn)有的NeRF模型，結(jié)合深度信息和體積混合方法，實(shí)現(xiàn)了對(duì)指定區(qū)域的編輯。為了獲得更逼真、自然且一致的結(jié)果，我們還引入了增強(qiáng)和先驗(yàn)，如深度正則化、姿態(tài)采樣和方向依賴的提示。經(jīng)過廣泛的實(shí)驗(yàn)驗(yàn)證，我們的方法在各種真實(shí)3D場(chǎng)景的編輯應(yīng)用中取得了良好的效果。

神經(jīng)隱式表示在計(jì)算機(jī)視覺和圖形學(xué)領(lǐng)域中得到了廣泛的應(yīng)用，包括2D和3D。其優(yōu)點(diǎn)之一是能夠捕捉復(fù)雜多樣的模式，并提供底層場(chǎng)景的連續(xù)表示。與高分辨率2D圖像的顯式表示，或者3D中的網(wǎng)格和點(diǎn)云相比，神經(jīng)隱式表示具有獨(dú)立于分辨率的緊湊性。NeRFs通過多層感知機(jī)(MLP)的權(quán)重學(xué)習(xí)將3D場(chǎng)景表示為連續(xù)體積和輻射場(chǎng)。給定3D位置

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。