DreamFusion: Text-to-3D using 2D Diffusion - 深度解析

隨著近年來擴散模型（diffusion models）在文字生成影像（text-to-image synthesis）領域的巨大成功，如何將這一技術延伸到三維模型生成成為人工智慧與電腦視覺研究中的重要挑戰。然而，3D 生成的關鍵瓶頸在於缺乏大規模標註的三維資料集，以及目前尚未有高效能能降噪三維數據的架構，使得直接訓練三維擴散模型困難重重。ICLR 2023 傑出論文《DreamFusion: Text-to-3D using 2D Diffusion》由 Poole、Jain、Barron 與 Mildenhall 等人提出了一個絕佳的解決方案，成功利用預訓練的二維文字-影像擴散模型，完成從文字到三維模型的生成，進一步推動三維內容創建技術的革新。

一、研究背景與動機

近年來，擴散模型在文字到影像生成上取得重大突破，像是 DALL·E 2、Imagen 等模型都能產生令人驚艷、高解析度且符合文字描述的二維圖片。但將此技術延伸至三維卻不易，主要有兩大挑戰：

• 缺乏大量標註三維數據：訓練三維擴散模型需要龐大且多樣的三維資料集，目前並未有等量級的公開資料可用。
• 三維資料的擴散模型架構複雜：三維空間生成模型需要同時處理多視角、多光照條件下的資訊，且計算成本高昂，難以有效實現去噪過程。

基於此，論文團隊提出關鍵想法——不用直接訓練三維模型，而是利用已有的功能強大、且已經接受過龐大文本與二維圖片資料訓練的擴散模型，來作為誘導三維模型學習的先驗 (prior)。

二、核心方法與創新

DreamFusion 的核心創新在於使用「機率密度蒸餾」（probability density distillation）損失函數，將一個預訓練的 2D 文字到影像擴散模型，轉化為約束條件，指導隨機初始化的三維模型（由 Neural Radiance Field，或 NeRF 表示）生成符合文字描述的三維物件。此過程分為幾個關鍵步驟：

1. NeRF 作為三維表示：NeRF 是一種利用體積渲染技術從稀疏多視角影像中重建高品質三維場景的表徵方法。在此處，NeRF 被隨機初始化並用於生成三維物體的體積渲染圖像。
2. 利用 2D 擴散模型作為視覺先驗：將 NeRF 從不同角度渲染出的多張 2D 圖像，送入固定且未經調整的文字-影像擴散模型中，藉由比較渲染圖像是否符合該文字提示，以計算損失。
3. 概率密度蒸餾損失：傳統的擴散模型生成是透過多步驟噪聲逆過程來達成，DreamFusion 利用概率密度蒸餾方法，將擴散模型的輸出轉為一個可微分的損失函數，方便端到端對 NeRF 參數進行梯度下降優化。
4. DeepDream 式優化策略：借鑑於 DeepDream 中對神經網路中間層激活做反向優化生成輸入影像的作法，DreamFusion 透過優化 NeRF 參數，使渲染出的二維影像在擴散模型中達到更高的文本相符度（即使不同視角亦如此）。

整體而言，DreamFusion 不需三維對應資料，也不用修改或訓練 2D 擴散模型，只需調整 NeRF 參數即可讓三維場景迭代生成，完美融合了二維擴散模型的文字理解能力與 NeRF 具備的三維重建能力。

三、主要實驗結果

透過廣泛的定性及定量實驗，DreamFusion 展現出令人驚豔的表現：

• 三維物件生成質量高：生成的三維模型可從任意視角渲染，細節豐富，與文字描述高度一致。與早期利用視覺語言模型（如 CLIP）直接優化三維模型的結果相比，DreamFusion 在物體形狀、細節及色彩一致性上均有明顯提升。
• 支持多種文本提示：不論是簡單物體（例如“彩色氣球”）、抽象概念（如“未來感機器”）或風格化描繪（例如“梵谷風格的花”），均可生成對應三維模型。
• 渲染光照自由調整：由於 NeRF 本身可進行光照條件更換與重新渲染，生成三維物件可以接受任意光源照明，靈活融入任意三維場景中。
• 無需三維標註數據：DreamFusion 在訓練時完全不依賴三維標注資料，證明了純粹利用二維擴散模型的導引來進行三維生成的可行性。

此外，作者也展示了其生成速度、分辨率與質量間的平衡，以及對不同擴散模型的適應性，顯示出方法具有良好通用性。

四、對 AI 領域的深遠影響

DreamFusion 不僅是一項技術突破，也對未來 AI 在多模態生成、三維內容創建及虛擬現實領域帶來深遠啟示：

• 打破三維資料依賴的藩籬：過去三維生成研究往往受限於數據稀缺，而 DreamFusion 採用間接「蒸餾」 2D 擴散模型知識的創新手法，大幅降低三維生成門檻，為更多研究者開啟創作三維內容的新路徑。
• 促進多模態模型的融合應用：將 2D 擴散模型作為先驗引導三維生成，提供了示範範本，未來有望將視覺、語言、音頻等多種模態融合於三維空間表達與創造，拓展人工智慧的表現力與實用性。
• 推動虛擬實境、遊戲與設計革新：自動且高品質的文字到三維內容生成將大幅提升創意工作流程效率，無論是虛擬人物設計、遊戲資產創建抑或虛擬世界建構，都有望因 DreamFusion 類技術而變得更加便捷和智能。
• 促進三維感知與生成的新范式：利用大規模二維擴散模型來輔助三維表示的合成，成為跨空間層級的推理與學習範式，有助推動未來更複雜、靈活的三維生成結構發展。

總結而言，《DreamFusion: Text-to-3D using 2D Diffusion》不僅解決了文字生成三維的核心技術難題，更借助既有強大二維模型的知識，開啟了多模態 AI 生成內容的新里程碑。這篇論文的貢獻不僅限於學術發表，其提出的方法和理念必定影響未來數年內三維生成及虛擬世界構建的發展趨勢。

---

論文資訊
📄 DreamFusion: Text-to-3D using 2D Diffusion
👥 Poole, Jain, Barron, Mildenhall
🏆 ICLR 2023 · Outstanding Paper
🔗 arxiv.org/abs/2209.14988