DreamFusion: Text-to-3D using 2D Diffusion

在深度學習與電腦視覺領域，生成式模型的發展正以前所未有的速度進展，特別是基於擴散模型（diffusion models）的文本到影像合成技術，在近年來已能生成高品質、富含細節且與輸入描述高度匹配的2D圖像。然而，將這些突破性技術推廣到3D合成領域，尤其是從純文字生成3D模型，仍然面臨諸多挑戰。DreamFusion這篇由Poole等人在ICLR 2023發表並獲得Outstanding Paper的論文，提出了一種創新方法，成功以預訓練的2D文本到影像擴散模型作為先驗，從無需任何3D訓練資料的情況下，生成高品質的三維模型，對3D合成技術發展帶來重要突破。

研究背景與動機

過去文本驅動的影像合成多仰賴龐大且多樣的圖文配對數據集來訓練，如OpenAI的DALL·E 2和Google的Imagen等。這些擴散模型藉由逐步添加和去除噪音來生成影像，展現了深厚的生成能力。反觀3D合成領域，缺乏規模龐大的3D帶標籤數據集以及高效的3D擴散模型架構，使得直接訓練文字到3D模型的系統難以實現。此外，3D資料本身維度高、計算昂貴、標註困難，也使得3D生成受到限制。

有鑑於此，DreamFusion團隊提出利用已有的強大2D擴散模型（例如Imagen），作為生成3D模型的先驗，以迴避繁雜的3D數據訓練與架構設計。他們的核心動機是：「或許不需要直接訓練一個3D擴散模型，而是利用2D擴散模型對圖像質量與語義的一致評分能力，來指導3D模型的優化。」這樣的思維不僅新穎，也可望大幅降低3D生成技術開發的門檻。

核心方法與創新

DreamFusion的關鍵創新點可拆解為以下幾個層面：

1. 利用2D擴散模型做為3D合成的先驗：他們不直接使用3D數據訓練模型，而是將產生的3D物體通過渲染轉換成多視角的2D圖片，並將這些圖片送入已預訓練的2D文本到影像擴散模型中評估一致性。
2. 結合機率密度蒸餾（Probability Density Distillation, PDD）損失：DreamFusion引入一種基於PDD的損失函數，使得3D模型的2D渲染在被2D擴散模型評估時，其生成概率密度達到最大，等同於引導3D結構更貼近文字描述。
3. 基於Neural Radiance Field (NeRF) 的3D模型參數化：NeRF是一種以隱式表現（implicit representation）3D場景的方法，能以少量參數描述複雜的體積與表面信息。DreamFusion使用NeRF作為3D模型的骨幹結構，並隨機初始化，通過損失函數反向優化。
4. DeepDream式優化流程：類似於Google DeepDream的思路，他們通過梯度下降不斷調整NeRF參數，使其多角度渲染輸出在2D擴散模型中獲得較低損失值，最終生成符合文字內容的3D物體。
5. 不改動既有2D擴散模型：整個流程中，DreamFusion不需對原始的2D擴散模型做任何架構或權重上的修改，僅作為黑盒先驗使用，大幅提升方法的通用性與可行性。

主要實驗結果

在實驗部分，DreamFusion團隊展示了他們方法對不同文本描述生成3D物體的能力，包括動物、物品和場景等多樣內容。這些3D模型具備細膩的幾何結構和質感，且渲染結果在多角度觀察下都保持一致，顯示其真實的3D特性。

此外，團隊也針對其方法的效率和解析度進行評估，證明它可以在合理的計算資源下生成令人滿意的結果。更重要的是，DreamFusion生成的模型可被直接應用於3D渲染、重新光照，甚至在虛擬環境中合成使用，展現較傳統2D生成技術更強的實用價值。

為了定量化評價，他們還引入了多項指標來評估生成3D模型與文字描述的匹配度與視覺真實性，結果明顯優於先前的無監督或弱監督3D生成方法。

對 AI 領域的深遠影響

DreamFusion的創舉為文本驅動的3D內容生成開啟了全新途徑，突破了過去「缺乏大規模3D數據與高效3D生成架構」的瓶頸，其影響層面涵蓋以下幾點：

• 促進3D生成研究的普及化：不需標註的3D數據與高複雜性的3D擴散模型，降低3D合成門檻，使更多研究者或工程團隊能夠快速入門、研發3D生成應用。
• 跨模態協同利用先驗：此論文最佳示範如何跨越2D與3D跨模態領域，巧妙將2D深度學習模型的能力引導3D生成，未來可能拓展到更多多模態生成任務中。
• 推動虛擬實境（VR）與擴增實境（AR）內容生成革新：高質量、可直接使用的3D模型生成技術將極大加速虛擬環境建構，豐富用戶對沉浸式內容的體驗。
• 催生新一代3D設計工具：DreamFusion為藝術家與設計師提供了從文字直接生成3D模型的可能，大幅改變設計工作流程與創作想像力。
• 激發後續研究熱潮：該方法在ICLR獲得Outstanding Paper的肯定，顯示產業與學術界高度重視，將驅動更多相關的3D視覺表示、跨模態優化技術及擴散模型應用的探索。

總結

DreamFusion以其獨到的創新架構，成功突破了3D生成領域中的核心障礙，利用已有的強大2D文本到影像擴散模型，輔以機率密度蒸餾損失和DeepDream式優化策略，有效地生成了可視化、交互式且高度符合文字描述的3D模型。這不僅是技術上的巨大躍進，更為未來3D內容生成、虛擬空間建構以及跨模態多媒體應用奠定了堅實的基礎，具備深遠且持續的影響力。對於具備基礎AI知識的工程師與研究生而言，深入理解DreamFusion的機制與思路，有助於啟發更多跨領域創新與實務應用，進而推動AI與3D視覺技術的融合與進步。

---

論文資訊
📄 DreamFusion: Text-to-3D using 2D Diffusion
👥 Poole, Jain, Barron, Mildenhall
🏆 ICLR 2023 · Outstanding Paper
🔗 arxiv.org/abs/2209.14988