隨著深度學習與生成模型的持續突破，近年來文字到影像（text-to-image）合成在人工智慧領域中取得了爆炸性的進展。特別是基於擴散模型（Diffusion Models）的技術，通過訓練海量圖文配對數據，大幅提升了生成影像的品質與語義一致性。然而，要將這種成功經驗擴展到三維物件（3D）生成，研究界卻面臨極具挑戰的瓶頸：3D 數據難以取得且標註龐大，缺乏足夠規模的 3D 數據集使得直接訓練擴散模型於 3D 空間非常困難，且 3D 體素（voxels）或多視角資料等結構複雜，擴散模型架構需大幅改造才能有效運作。
針對上述問題，ICLR 2023 傑出論文《DreamFusion: Text-to-3D using 2D Diffusion》帶來了一個巧妙且創新的解決方案。Poole 等人提出了夢幻般的「DreamFusion」方法，跳脫直接訓練 3D 擴散模型的限制，改而利用已預訓練且性能強大的 2D 文字到影像擴散模型（如 Imagen 等）作為先驗知識，來引導從文字直接生成 3D 模型的過程。此舉既避免了龐大 3D 數據需求，也不需改變影像擴散模型本身，完成了跨模態的知識蒸餾，技術路線具前瞻性且高效。
研究背景與動機
傳統的 3D 物件重建或生成方法，如基於多視角一致性的方法、形狀優化或以神經輻射場（Neural Radiance Fields, NeRF）等技術，通常需要密集的影像數據或 3D 網格進行訓練，且難以利用自然語言描述直接生成物件。另一方面，近年文字到影像的擴散模型展現極大潛力，能基於語義文字創作高品質 2D 圖像。如何把 2D 生成模型的強大能力遷移到 3D 不僅代表技術挑戰，更是連接自然語言理解與三維空間感知的關鍵。
DreamFusion 因此提出利用 2D 擴散模型作為對 3D 模型投影視圖的概率先驗，循環優化一個可微的 3D 物件表示，讓其經過多視角渲染後的 2D 影像能被擴散模型認可為符合文字描述的真實影像。換言之，它用擴散模型「判斷」生成的 3D 模型渲染出的影像是否貼合語義，依此反向優化 3D 模型。
核心方法與創新
1. 概率密度蒸餾（Probability Density Distillation）損失：
DreamFusion 主要創新是提出一種基於概率密度蒸餾的損失函數，以啟用 2D 擴散模型作為「先驗分佈」指導 3D 物件的生成。該損失透過擴散模型的反覆「去噪」過程評估輸入影像相對於文字提示的匹配度，實際上將「文字到影像擴散模型」轉化成可微分的指標，不需重新訓練 3D 模型本身。
2. DeepDream 式優化策略：
類似 DeepDream 的心智投射，DreamFusion 從一個隨機初始化的 NeRF 表示開始，通過內嵌差分渲染器渲染多角度視圖，將渲染結果輸入到擴散模型中計算損失，藉由梯度反傳逐步調整 NeRF 參數，使其生成的 2D 渲染影像越來越符合文字描述。這種反覆優化直至收斂的策略，從純文字提示生成任意複雜的 3D 場景。
3. 三維表示與渲染：
DreamFusion 選擇使用 NeRF 作為 3D 物件的核心表示方法。NeRF 藉由參數化的神經網絡預測空間中每個位置的顏色與密度，結合體積渲染技術快速生成任意視角圖像。這種連續可微且高效的渲染允許損失指標在 2D 視圖與 3D 模型間進行誤差反傳，是整個框架能成功運作的關鍵。
主要實驗結果
作者在數個文字描述上驗證了 DreamFusion 的生成能力，示例涵蓋具有不同材料特性與細節的物體，如「漂浮在空氣中的銀色沙漏」或「穿戴頭盔的機器人」等。實驗結果令人驚訝地顯示，模型能從未見過的文字描述中，創造出多視角一致且細節豐富的 3D 物件，甚至能夠在不同光照條件下重新點亮物體，充分展現了 NeRF 的體積渲染優勢。
與之前依賴 3D 監督或直接從多視角影像構建模型的方法相比，DreamFusion 不需任何 3D 訓練資料、也不需修改擴散模型的結構，展示了極佳的零樣本生成能力。此外，該方法生成的 3D 模型可被輕鬆匯入虛擬實境、遊戲引擎與動畫製作等應用，證明技術的實用價值與普適性。
對 AI 領域的深遠影響
DreamFusion 不僅是文字到 3D 合成領域的一大突破，更是多模態生成模型整合的一次範例創新。它突破了過去文字生成三維場景所依賴的大規模三維數據限制，巧妙地利用 2D 擴散模型當作強大的隱含概率先驗，促成三維模型在語義與視覺品質上的飛躍。
此研究提示未來人工智慧可以利用不同模態間的互補先驗進行跨域學習與生成，避免直接訓練昂貴且罕見的資料。加上 NeRF 等新興神經場技術的成熟，DreamFusion 開啟了全新路徑，將文字描述無縫轉化為可互動的三維數位資產，對虛擬實境、遊戲開發、電腦動畫到工業設計等產業皆具革命性意義。
更長遠來看，此技術鞏固了擴散模型在生成領域的核心地位，促使未來研究探索如何將大型預訓練模型作為普適先驗或搶救性工具，輔助稀缺資料場景，促進 AI 生成模型在各種維度的通用化和模態融合。
總結
DreamFusion 的核心貢獻在於成功做到「無需任何 3D 訓練資料」且「不需改動現有 2D 擴散模型」的情況下，從文字提示直接生成具多視角一致性的高品質 3D 模型。藉由結合概率密度蒸餾損失、DeepDream 式優化以及 NeRF 體積渲染的有機結合，該方法解決了 3D 文字生成的難題，樹立了未來跨模態深度生成的新典範，為人工智慧與虛擬內容創作領域帶來深遠影響。
論文資訊
📄 DreamFusion: Text-to-3D using 2D Diffusion
👥 Poole, Jain, Barron, Mildenhall
🏆 ICLR 2023 · Outstanding Paper
🔗 arxiv.org/abs/2209.14988
沒有留言:
張貼留言