博客專欄

EEPW首頁(yè) > 博客 > arXiv最新NeRF文章 l Blended-NeRF:混合神經(jīng)輻射場(chǎng)中的零樣本物體生成和混合

arXiv最新NeRF文章 l Blended-NeRF:混合神經(jīng)輻射場(chǎng)中的零樣本物體生成和混合

發(fā)布人:計(jì)算機(jī)視覺工坊 時(shí)間:2023-07-11 來源:工程師 發(fā)布文章

Blended-NeRF是一個(gè)強(qiáng)大而靈活的框架,用于編輯NeRF場(chǎng)景中的特定興趣區(qū)域。該框架利用預(yù)訓(xùn)練的語(yǔ)言-圖像模型和現(xiàn)有NeRF場(chǎng)景上初始化的3D MLP模型,根據(jù)文本提示或圖像塊合成并混合對(duì)象到原始場(chǎng)景中的指定區(qū)域。使用3D ROI框?qū)崿F(xiàn)局部編輯,并通過體積混合技術(shù)將合成內(nèi)容與現(xiàn)有場(chǎng)景融合。為了獲得逼真且一致的結(jié)果,該框架使用幾何先驗(yàn)和3D增強(qiáng)技術(shù)提高視覺保真度。在定性和定量測(cè)試中,Blended-NeRF展示了比基準(zhǔn)方法更大的靈活性和多樣性的逼真多視圖一致結(jié)果。此外,該框架適用于多種3D編輯應(yīng)用。

1 前言

近年來,在神經(jīng)隱式表示領(lǐng)域取得了重要的進(jìn)展,特別是對(duì)于3D場(chǎng)景的隱式表示。NeRFs是一種基于MLP的神經(jīng)模型,可以通過體積渲染從有限數(shù)量的觀測(cè)生成高質(zhì)量的圖像。然而,編輯NeRF表示的場(chǎng)景是具有挑戰(zhàn)性的,因?yàn)閳?chǎng)景是以隱式方式編碼的,而不是以顯式方式表示。此外,在NeRF表示的場(chǎng)景中混合新對(duì)象也是具有挑戰(zhàn)性的,需要在隱式表示的基礎(chǔ)上保持多個(gè)視角之間的一致性。與在圖像中進(jìn)行局部編輯不同,現(xiàn)有的方法主要集中在局部部分的移除、顏色變化和形狀轉(zhuǎn)移等簡(jiǎn)單操作上。本文提出了一種基于ROI的NeRF場(chǎng)景編輯方法,通過文本提示或圖像修補(bǔ)來引導(dǎo)。該方法具有通用性,可以應(yīng)用于任何實(shí)際場(chǎng)景中的任何區(qū)域,并生成自然且與現(xiàn)有場(chǎng)景無縫融合的結(jié)果。為了實(shí)現(xiàn)局部編輯,我們利用預(yù)訓(xùn)練的語(yǔ)言-圖像模型和現(xiàn)有的NeRF模型,結(jié)合深度信息和體積混合方法,實(shí)現(xiàn)了對(duì)指定區(qū)域的編輯。為了獲得更逼真、自然且一致的結(jié)果,我們還引入了增強(qiáng)和先驗(yàn),如深度正則化、姿態(tài)采樣和方向依賴的提示。經(jīng)過廣泛的實(shí)驗(yàn)驗(yàn)證,我們的方法在各種真實(shí)3D場(chǎng)景的編輯應(yīng)用中取得了良好的效果。

2 相關(guān)工作

神經(jīng)隱式表示在計(jì)算機(jī)視覺和圖形學(xué)領(lǐng)域中得到了廣泛的應(yīng)用,包括2D和3D。其優(yōu)點(diǎn)之一是能夠捕捉復(fù)雜多樣的模式,并提供底層場(chǎng)景的連續(xù)表示。與高分辨率2D圖像的顯式表示,或者3D中的網(wǎng)格和點(diǎn)云相比,神經(jīng)隱式表示具有獨(dú)立于分辨率的緊湊性。NeRFs通過多層感知機(jī)(MLP)的權(quán)重學(xué)習(xí)將3D場(chǎng)景表示為連續(xù)體積和輻射場(chǎng)。給定3D位置

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。



關(guān)鍵詞: AI

相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉