Meta研究：基于頭顯攝像頭進行姿態(tài)估計的方法和優(yōu)缺點

通過頭顯攝像頭進行自我姿態(tài)追蹤

目前大多數基于VR一體機的Avatar系統(tǒng)都沒有下半身，一個重要的原因是，盡管設備能夠通過內向外追蹤實現頭部和雙手的動捕，而這又使得估計手臂和胸部的位置相對容易，但系統(tǒng)難以判斷你的腿、腳或臀部位置，所以今天的Avatar一直都是缺失下半截。  

如果有關注映維網的論文分享，你應該會注意到Meta一直有在進行相關研究，尤其是通過機器學習/深度學習/人工智能等技術來實現基于純頭顯攝像頭的全身動捕解決方案。

在早前發(fā)布的論文《SelfPose: 3D Egocentric Pose Estimation From a Headset Mounted Camera》中，Meta聯合倫敦大學學院，布倫瑞克工業(yè)大學，馬克斯·普朗克智能系統(tǒng)和卡內基梅隆大學等機構探索了基于頭顯攝像頭來進行自我姿態(tài)估計的方法。

AR/VR體驗需要由用戶姿態(tài)的顯式表征所驅動。特別地，其需要從設備的角度估計用戶的姿態(tài)，這隱含地對應于以自我為中心的角度，亦即與用戶3D頭部和身體姿態(tài)相應對的“Egopose/自我姿態(tài)”。自我姿態(tài)驅動著在AR和VR中構建自然體驗所需的必要輸入。

自我姿態(tài)估計是一項具有挑戰(zhàn)性的任務。現有的方法通常分為兩類：基于非光學傳感器的方法和基于攝像頭的方法。基于傳感器的方法依賴于磁性和慣性屬性，并給出了自我姿態(tài)的穩(wěn)健估計。然而，它們需要特殊設計且難以設置的設備，并且具有限定用戶一般性移動的侵入性。

基于攝像頭的方法則侵入性較小，可以在不同的環(huán)境中工作。其中一類方法依靠自上而下的朝內式攝像頭來獲得用戶的最佳視圖，而另一類方法則使用窄視場前向攝像頭（用戶不可見）。只要能夠清楚地“看到”身體部位，前一種設置可以產生可靠的結果，但朝內式攝像頭需要向前延伸，以避免鼻子和臉頰被遮擋。當用戶離開視場時，姿態(tài)估計將完全失敗。后一種設置的優(yōu)點是在看不到用戶的情況下估計自我姿態(tài)，但它難以解析模糊的身體姿態(tài)，尤其是手臂姿態(tài)。

圖1說明了本篇論文所希望解決的問題：目標是從以自我為中心的攝像頭角度推斷2D和3D姿勢信息，如關節(jié)位置和旋轉，這是將運動從原始用戶轉移到通用Avatar或收集用戶姿勢信息的必需項。

圖1

團隊的配置中使用的單目攝像頭安裝在頭顯邊緣（如圖1a所示），距離平均尺寸的鼻子大約2厘米，朝下。圖2進一步顯示了攝像頭在不同身體配置下看到的圖像。最上面一行顯示了從以自中心的角度來看，什么身體部位會變得自遮擋。從亮紅色到深綠色的連續(xù)漸變編碼相應著色區(qū)域的像素分辨率的增加。

圖2

上圖顯示了同一角色的不同姿勢的可視化。最上方是從外部攝像頭視點渲染的姿勢。白色代表遮擋，遮擋是從以自中心角度看不到的身體部位。最下方是從以自為中心攝像頭視點渲染的姿勢。顏色梯度表示身體每個區(qū)域的圖像像素密度：綠色表示像素密度較高，而紅色表示像素密度較低。

圖表說明了自中心人體姿勢估計所面臨的挑戰(zhàn)：嚴重的自遮擋、極端的****效果和較低的下半身像素密度。

有數個挑戰(zhàn)導致了這個問題的困難：

• （1）由于魚眼透鏡和攝像頭靠近面部，會出現強烈的****失真。這導致圖像具有強烈的徑向失真，并且上半身和下半身之間的圖像分辨率存在巨大差異，如圖2底部一行所示。因此，從正面或360度偏航視圖進行2D身體姿態(tài)估計的最先進方法在這類圖像上會失敗

• （2） 在許多情況下，身體會發(fā)生自遮擋，尤其是在下半身，這需要對關節(jié)位置具有很強的空間意識；

• （3） 自為中心三維身體姿態(tài)估計是計算機視覺中一個相對未探索的問題，因此公眾可訪問的標記數據集很少；

• （4） 正如傳統(tǒng)的3D身體姿態(tài)估計所示，當在三維中l(wèi)ift二維關節(jié)位置時，存在自然模糊性。

這種不同尋常的自中心視覺表現需要一種全新的方法和全新的訓練語料庫，而本篇論文正是主要針對這兩個問題。他們提出的全新神經網絡架構編碼了由不同分辨率、極端視角效應和自遮擋引起的上下身體關節(jié)之間的不確定性差異。

團隊使用真實的3D注釋對合成基準和真實世界基準進行了定量和定性評估，并表明所述方法的性能比以前的Mo2Cap2高出25%以上。消融研究表明，引入新型multi-branch****來重建2D輸入熱圖和旋轉是3D姿態(tài)估計的顯著改進的原因。

架構

團隊提出了用于3D姿態(tài)估計的深度學習架構。這是一種由兩個主要模塊組成的兩步方法：i）第一個模塊檢測圖像空間中身體關節(jié)位置的2D熱圖；ii）第二個模塊將從前面模塊生成的2D熱圖預測作為輸入，并使用新穎的multi-branch自動編碼器架構回歸身體關節(jié)的3D坐標，并根據骨骼層次的局部關節(jié)旋轉和重建的熱圖預測。

這種管道方法最重要的優(yōu)點之一是，可以根據可用的訓練數據獨立訓練2D和3D模塊。例如，如果具有3D注釋的足夠大的圖像語料庫不可用，則可以使用3D mocap數據及其投影熱圖來獨立地訓練3D lifting模塊。一旦對這兩個模塊進行了預訓練，整個架構就可以端到端地進行微調，因為它完全可微分。

multi-branch自動編碼器模塊同時提供了具有姿勢的多個表示的能力，例如關節(jié)位置和局部旋轉等。所述架構的另一個優(yōu)點是，第二和第三branch只在訓練時需要，并且可以在測試時刪除，從而保證更好的性能和更快的執(zhí)行。

二維姿勢檢測

給定RGB圖像I∈R368×368×3作為輸入，2D姿勢檢測器推斷2D姿勢，表示為一組熱圖HM∈R47×47×15，每個身體關節(jié)一個。對于這項任務，團隊已經試驗了不同的標準架構，包括ResNet 50和U-Net。

他們使用歸一化輸入圖像對模型進行訓練。其中，圖像是通過減去平均值并除以標準差獲得。然后，他們使用ground truth熱圖與預測熱圖之間差異的均方誤差作為損失：

二維到三維映射

3D姿態(tài)模塊將第一模塊計算的15個熱圖作為輸入，并輸出最終的3D姿態(tài)P∈R16×3作為一組關節(jié)位置。請注意，輸出3D關節(jié)的數量為16，因為包括頭部（盡管頭部在視場之外，但它可以在3D中回歸）。

團隊的方法從輸入熱圖預測3D姿勢，而不僅僅是2D位置。主要優(yōu)點是熱圖攜帶了與2D姿態(tài)估計的不確定性相關的重要信息。

所提出的架構的主要新穎性是，確保熱圖表示中表達的不確定性信息不會丟失，它在姿態(tài)嵌入中得到了保留。當編碼器將一組熱圖作為輸入并將其編碼到嵌入z

中時，****有多個branch。首先從z

回歸3D姿勢；2nd估計局部關節(jié)旋轉（相對于父節(jié)點）；以及3rd重構輸入熱圖。所述branch的目的是迫使latent向量對估計的2D熱圖的概率密度函數進行編碼。

自動編碼器的整體損失函數表示為：

研究人員測試了不同的局部聯合旋轉表示，而由于訓練過程中旋轉的穩(wěn)定性，他們最終選擇了四元數表示，從而產生更穩(wěn)健的模型。旋轉branch同時有助于生成更好的結果，在逐幀估計的姿勢上，連續(xù)幀上的過渡更平滑。

使用估計旋轉的角色動畫

由multi-branch自動編碼器架構生成的姿態(tài)嵌入估計包含姿態(tài)的相關基本信息，這使得能夠基于特定應用程序更改/添加表示。具體而言，旋轉branch的引入改善了整體重建誤差，如表2所示，并且它是可用于角色動畫的姿勢定義。

根據骨架層次，由旋轉branch估計的關節(jié)旋轉表示為每個關節(jié)相對于父節(jié)點的局部旋轉。與原始動畫相比，顯示受驅動角色的示例幀如圖6所示。請注意，即使對于Avatar的四肢落在攝像頭視場之外的姿勢，模型都能夠可靠地估計正確的旋轉。另外，盡管逐幀計算估計，但連續(xù)幀中的姿態(tài)之間存在時間一致性。

圖7則顯示了從輸入圖像估計的關節(jié)角度預測。具體來說，關節(jié)角度與ground truth一致。旋轉是平滑的，網絡在預測中引入了有限的“抖動”偽影。

熱圖估計：架構消融

到目前為止，團隊在所有實驗中都使用了已建立的ResNet 50架構。為了研究熱圖估計網絡的效果，他們對不同的架構和初始化策略進行了實驗。

結果表明，預訓練有幫助。與隨機初始化的54.7相比，使用預訓練的ResNet 50的完整管道將MPJPE誤差優(yōu)化至51.1 mm，見表4。

盡管有研究表明，預訓練通常是不必要的，但團隊指出，預訓練確實可以在兩個方面有所幫助。首先，預訓練有助于加快收斂速度。其次，對于小型數據集，預訓練有助于提高準確性。盡管他們的合成數據集很大，但與MPII等大型真實世界數據集相比，它在場景和主題方面的可變性較小。

在下一步中，研究人員使用U-Net進行2D姿態(tài)估計實驗。使用U-Net架構可以提高管道的性能，并將MPJPE誤差顯著優(yōu)化至41.0mm。

基于Resnet 50的估計器在沒有事先細化的情況下失敗。他們假設，改進的性能和在真實圖像上觀察到的行為證明了U-Net更好的泛化特性。為了支持假設，團隊進行了一個額外的實驗。將高斯白噪點添加到合成數據集的測試圖像中，并使用不同的2D姿態(tài)估計網絡來測量管道的性能。

圖8繪制了不同噪點水平下的MPJPE誤差。值得注意的是，基于U-Net的管道的誤差增加緩慢，而基于Resnet 50的管道在小噪點水平下已經產生了大的誤差。這種行為支持了假設，即U-Net架構具有更好的泛化特性。

liftIng網絡：參數消融

為了驗證multi-branch三維姿態(tài)lifting網絡的架構設計選擇，團隊對兩個主要參數進行了消融研究。

首先，找到嵌入z

的最佳大小，它對3D姿勢、關節(jié)旋轉和2D姿勢的不確定性進行編碼。表6列出了所有三種不同熱圖估計網絡使用不同尺寸的z

的MPJPE誤差。無論熱圖估計網絡的選擇如何，z^∈R50都能產生最好的結果。較小的嵌入會產生明顯更高的誤差，而較大的嵌入只會稍微影響結果。

自中心的真實數據集評估

與Mo2Cap2的比較。團隊將方法的結果與直接競爭對手Mo2Cap2進行了比較，包括室內和室外序列。為了進行公平的比較，僅根據他們提供的合成訓練數據來訓練模型。表8報告了兩種方法的MPJPE錯誤。

可以看出，團隊的方法在室內和室外場景中都大大優(yōu)于Mo2Cap2。在這里，使用在ImageNet上預先訓練的U-Net模型的方法產生了最好的結果。但在室內，在更受控制的環(huán)境中，兩種架構變體幾乎不相上下。

團隊架構的一個重要優(yōu)勢是，模型可以同時在3D和2D數據集的混合上進行訓練：如果圖像樣本只有2D注釋，但沒有3D ground truth標簽，則樣本依然可以使用，只有熱圖會導致損失。

他們評估了在兩種場景中添加帶有2D但沒有3D標簽的額外圖像的效果：自中心和前置攝像頭。在自為中心的情況下，他們創(chuàng)建了xR-EgoPose測試集的兩個子集。第一個子集包含具有3D和2D標簽的所有可用圖像樣本的50%。

第二個包含100%的帶有2D標簽的圖像樣本，但只有50%的3D標簽。實際上，第二子集包含的圖像數量是僅具有2D注釋的圖像數量的兩倍。表10a比較了子集之間的結果?？梢钥闯?，最終的3D姿態(tài)估計受益于額外的2D注釋。在Human3.6M數據集上可以看到等效的行為。表10b顯示了當使用來自COCO和MPII的附加2D注釋時重建誤差的改善。  

總的來說，團隊提出了一種從安裝在頭顯的單眼攝像頭估計3D身體姿勢的解決方案。給定單個圖像，所述方法完全可微網絡估計熱圖，并使用它們作為中間表示，使用新的multi-branch自動編碼器回歸3D姿態(tài)。

這種新的架構設計是在具有挑戰(zhàn)性的數據集中進行精確重建的基礎。與競爭對手的數據集相比，準確率提高了24%以上，實驗證明可以推廣到更通用的3D人體姿態(tài)估計，即具有最先進性能的前置攝像頭任務。

最后，他們介紹了xR-EgoPose數據集，這是一個新的大規(guī)模照片逼真的合成數據集，對訓練至關重要。團隊表示，增加額外的攝像頭以覆蓋更多的視場，并實現多視圖傳感是未來研究的重點。