2025年9月19日 星期五

神經參數化頭部模型:以隱式場與局部MLP實現高品質完整人頭重建

本文提出一種「神經參數化頭部模型」,可從點雲或稀少深度資料重建高品質且完整的人頭幾何(含頭髮與細微表情紋理),並具備良好身份與表情的可分離表示能力。

主要貢獻與方法:

  • 身份表徵:以中性表情下的有號距離場(signed distance field, SDF)來表示身份,直接在原始掃描上以 auto-decoder 方式訓練。
  • 表情建模:將表情視為從中性姿態的向量位移場。透過非剛性配準(non-rigid registration)在 canonical 與表情掃描間建立一對一對應,得到真實位移場以監督表情網路。
  • 隱式表示創新:把整體 SDF 分解為一組以錨點(anchor points)為中心的局部 MLP(local MLPs)集合,每個局部 MLP 以對應的局部潛碼(local latent code)條件化,並用固定的高斯核加權混合(Blending)各局部輸出。此組合性(compositionality)使學習更容易且有助於泛化。
  • 對稱性處理:為了利用頭部左右對稱性,對稱錨點共享網路參數,並鏡像其局部座標系,減少參數且強化對稱表徵。
  • 表情/身份解耦:表情網路同時以身份與表情潛碼作為條件,促成解耦好的潛在表示,便於如表情重演(reenactment)等應用。

資料與訓練:

  • 建立高品質 3D 掃描設備,收集 124 個體 × 20 表情,共超過 2200 個掃描,包含細微皺褶及完整頭部(含頭髮)幾何。
  • 直接在掃描資料上訓練模型(auto-decoder)。

實驗結果:

  • 在單張正面深度圖重建任務上,無論身份或表情重建均優於 Basel Face Model 與 FLAME 等基線方法,重建結果更貼近真實掃描。
  • 僅使用少量點(例如 500 點)也能做出準確的臉部幾何重建,顯示模型對稀疏輸入的魯棒性。
  • 局部身份表示提升了重建品質;解耦的潛在空間可用於表情轉移/重演,同一表情碼可作用於不同身份以生成一致的表情動作。

總結:

此方法以局部化的隱式 SDF 表示、受監督的表情位移場與對稱化設計,結合高品質掃描資料,實現了能重建完整人頭且具表情-身份解耦能力的神經參數化模型,並在多項重建任務中顯著超越現有基準。



沒有留言:

張貼留言