DreamFusion: Text-to-3D using 2D Diffusion 深度簡介

隨著人工智慧技術的快速發展，特別是以自然語言生成影像的能力（Text-to-Image）在近年獲得巨大突破，成為媒體和學術界的熱門話題。基於擴散模型（Diffusion Models）的文本生成影像方法如DALL·E 2、Imagen等，透過龐大的影像-文字配對資料訓練，展現出令人驚豔的圖像生成能力。然而，相較於2D圖像合成，3D模型生成的研究尚未同樣普及，其瓶頸之一是缺乏大規模且多樣化的3D標註數據，以及在3D空間中進行擴散過程所需的有效架構尚未成熟。

因此，Poole等人於2023年ICLR發表的《DreamFusion: Text-to-3D using 2D Diffusion》，提出一個創新的思路，巧妙繞過了3D資料不足與專用3D擴散模型的限制，利用已經訓練好且表現優異的2D文字到影像擴散模型來「反向推估」3D物件，達成從自然語言直接生成3D模型的技術突破。此論文獲得當年ICLR傑出論文獎肯定，也促使整個3D生成領域產生深遠影響。

研究背景與動機

傳統3D模型生成方法多依賴結構化資料（如點雲、網格或體素）或手工設計模型，往往耗時且缺少可擴展性。隨著Neural Radiance Field（NeRF）等技術興起，通過神經網絡建模3D空間中光線的輻射場，能從多視角2D影像重建出高品質3D模型，但仍需大量多視角資料作為訓練依據。

另一方面，文本驅動的3D生成如果直接打造專屬3D擴散模型，無疑受到資料限制與計算資源挑戰。DreamFusion的核心動機即是善用現有強大的2D擴散模型，以「無需3D資料」的方式實現文本到3D的轉換，突破當下3D synthesis面臨的瓶頸。

核心方法與技術創新

DreamFusion的創新關鍵在於提出一種稱為「概率密度蒸餾（Probability Density Distillation）」的技巧，將2D擴散模型作為強大的先驗（prior），並用在優化3D模型參數上。簡單來說，就是將一個隨機初始化的NeRF模型，在給定描述文本的條件下透過梯度下降調整，使得NeRF從任意角度渲染出的2D影像，其生成的影像經由2D擴散模型判斷具有高度符合文字語義的機率。

• NeRF作為3D模型表示：NeRF以神經網絡形式學習體積光照場，每次渲染會從指定視角生成對應2D投影。
• 2D擴散模型作為文本到影像指南：利用現有的擴散模型（如Imagen或Stable Diffusion）判斷生成影像是否符合輸入文字描述，給出「損失信號」。
• 概率密度蒸餾損失函數：透過計算2D擴散模型的去噪後驗概率密度，調整NeRF輸出的影像使文本描述的概率最大化，而非直接回傳像素距離損失，此方法能避免生成模糊且不真實的圖片。
• DeepDream-like優化流程：將NeRF當作一個神經網絡生成器，在文字和2D模型的指導下，反覆進行梯度下降調整模型參數，使其最終生成的3D物件無論旋轉或光照變化，都能對應到一致且高品質的2D投影。

整個過程完全不需3D資料或3D模型標註，也不需要修改已訓練好的2D擴散模型架構，顯著降低了實現難度和資源門檻。

主要實驗結果與評價

論文中，作者展示了DreamFusion生成各種物件的3D模型，包括動物、物品甚至想像中的怪獸，均能在多視角自由切換及重新光照條件下保持高度真實和語義一致性。這些3D模型支援常見視覺效果和交互環境，如遊戲引擎或動畫製作。

• 在無需三維監督的情況下，DreamFusion產生的模型在形式複雜度與細節豐富度方面，品質超過了先前基於少量照片合成3D的技術。
• 比較定性結果和數量化指標（雖然3D真實度評分仍是挑戰），DreamFusion展現了2D擴散模型作為3D先驗的潛力，開啟了文本驅動3D生成新路徑。
• 方法通用性強，可與不同的2D擴散模型結合，彈性佳且易於進一步改進。

對 AI 領域的深遠影響

DreamFusion的成功提出了一個全新的觀念：借助強大的2D生成模型可間接執行3D生成任務，且無需昂貴或稀缺的多視角3D資料，為3D內容生成領域帶來革命性的思維啟發。具體來說：

• 跨模態知識遷移：說明了如何從純2D空間延伸到3D表示，探索多模態融合與跨領域遷移的深層價值。
• 降低3D內容生產壁壘：使得遊戲設計師、動畫製作者、AR/VR開發者等非專業3D建模者，也能憑藉語言創造高品質3D資產。
• 推動3D生成與理解新架構發展：基於擴散模型的3D生成法為接下來探索「3D-擴散模型」奠定理論與技術基礎。
• 促進多視角神經渲染技術成熟：NeRF被擴展為多任務框架，帶動了3D視覺、圖形與語言理解的融合應用。

綜合而言，DreamFusion展示了如何利用現有2D深度生成技術，在無需3D監督資料的條件下，達成從自然語言到3D模型的自動生成。這不僅是技術上的突破，也代表著人工智慧在內容創作和多模態理解領域走向更廣泛應用的里程碑。未來隨著更強大的2D擴散模型及3D神經渲染技術演進，DreamFusion的理念和方法勢必成為推動AI生成式內容持續開拓的重要基石。

---

論文資訊
📄 DreamFusion: Text-to-3D using 2D Diffusion
👥 Poole, Jain, Barron, Mildenhall
🏆 ICLR 2023 · Outstanding Paper
🔗 arxiv.org/abs/2209.14988