DreamFusion: Text-to-3D using 2D Diffusion 深度簡介

隨著深度學習的快速發展，以及大規模視覺語言模型的崛起，基於文字描述的圖像生成（Text-to-Image）技術迎來爆炸性突破。特別是利用擁有數十億圖文對訓練的「擴散模型」（Diffusion Models），如DALL·E 2、Stable Diffusion等，已能生成高度寫實且風格多變的2D圖像。然而，三維（3D）視覺世界的生成仍然面臨諸多挑戰，主要因為缺少足夠多的3D數據集及適合的3D架構，使得從文字直接合成3D模型這一目標變得遙不可及。

在這樣的背景下，ICLR 2023中由Poole、Jain、Barron與Mildenhall提出的《DreamFusion: Text-to-3D using 2D Diffusion》論文突破傳統限制，提出一種利用預訓練2D文字到圖像的擴散模型作為先驗，無需任何3D訓練資料，即可生成對應文字描述之3D模型的方法，並憑此榮獲Outstanding Paper獎，成為當年AI生成模型領域的里程碑。

研究背景與動機

3D模型生成長久以來是計算機圖形學與視覺領域的重要課題，傳統方法多倚賴專業3D建模或利用多視角影像重建。近年深度學習模組開始投入3D表示的學習，例如Neural Radiance Fields（NeRF），能在高解析度下重建場景。然而，這些方法主要著眼於「視覺輸入到3D」的轉換，少有將自然語言直接映射到3D結構的嘗試，部分原因是缺少大規模有標記的3D數據集。

另一方面，2D擴散模型透過巨量圖文對訓練，已展現極佳的文本理解與圖像合成能力。如果能夠有效利用這類2D模型來指導3D生成，將可能突破3D數據短缺的瓶頸，實現文字到3D的跨模態生成。然而，直接擴展擴散模型至3D，不僅計算資源消耗大，也缺乏相應架構與數據，迫使研究者尋找創新解決方案。

核心方法與創新

DreamFusion的核心創新在於「將2D擴散模型作為3D模型優化的先驗」這一理念。研究團隊以NeRF作為3D表示基礎，NeRF通過參數化體積渲染從任意角度合成2D影像。DreamFusion流程簡述如下：

• 初始階段：以一個隨機初始化的NeRF模型作為3D空間，該模型具備學習光線場與體積密度的能力。
• 渲染與損失計算：NeRF從隨機選定的視角渲染2D影像，這些影像作為「合成影像」。
• 擴散模型評分：利用預訓練好的2D文字到影像擴散模型，將渲染影像及對應的文字描述輸入，計算影像對文本的擬合損失（loss）。此損失基於「機率密度蒸餾」（probability density distillation，PDD）方法，旨在度量生成影像相對於文字配對的概率分布差異。
• 反向優化：透過梯度下降，根據擴散模型給出的損失調整NeRF中參數，使得每次渲染的影像與文本描述的相容性提升。
• 迭代訓練：持續多次渲染-評分-優化循環，最終NeRF模型形成可從任意角度渲染出符合語意描述的3D物體或場景。

此方法有幾個關鍵優勢：

• 無需3D標記數據：減少資料收集瓶頸，僅依賴現成的2D擴散模型與隨機初始化的參數化3D結構。
• 利用強大2D先驗：擴散模型的視覺語言理解能力透過優化指標被有效「蒸餾」至3D生成。
• 端到端可微：整體優化過程可用梯度自動微分實現，簡化訓練流程。
• 無需改動擴散模型架構：直接利用預訓練模型，不做額外調整，降低開發成本。

主要實驗結果

論文中作者進行了豐富的定性與定量實驗，驗證DreamFusion的效能：

• 3D物體生成範例：輸入多樣化文字描述（如「a green apple」、「a neon sign in the shape of a cat」），模型可生成細節豐富且結構合理的3D NeRF模型，從任意角度觀賞氛圍一致且清晰。
• 光照與視角變換靈活性：生成的3D模型支援重新光照調整及場景合成，展現其對3D空間真實性的捕捉。
• 對比實驗：相較於直接用2D合成影像堆疊的方法，DreamFusion在保持3D連續性的同時，表現出更佳的細節銳利度與語意一致性。
• 無需特殊3D數據訓練：DreamFusion在無任何3D標記資料情況下，可成功生成高品質立體物體，展示其高泛化能力及方法的普適性。

對 AI 領域的深遠影響

DreamFusion的提出標誌著跨模態生成技術的重大突破，特別是在3D生成領域中展現了全新思維模式。其深遠意義包括：

1. 解決3D資料短缺問題：借助2D擴散先驗，無需昂貴且稀缺的3D訓練資料，為3D生成模型開闢出一條可行的捷徑，推動3D內容創作民主化。
2. 跨模態知識蒸餾新典範：透過概率密度蒸餾將2D模態的豐富語意知識轉移到3D表示，為未來多模態模擬與融合提供范例，有望推動跨視覺、語言、空間等多維度AI模型的協同發展。
3. 推動NeRF及隱式表示技術發展：DreamFusion展示NeRF不僅能成功表達靜態場景，也能靈活被用於生成式任務，擴大該類隱式3D表示技術的應用範圍與研究熱度。
4. 指示未來AI生成的趨勢：多模態預訓練模型成為生成式任務的強大工具，且採用“生成渲染”與“優化反向”的結合方法，有望成為未來更多AI模態生成工作中標準的設計思路。

總結來說，DreamFusion以創新優化方法巧妙利用2D擴散模型的能力，成功實現了高品質文字到3D的生成，為3D內容生成科技開闢新境界。此篇傑出論文不僅技術手法深具啟發性，也為工業界與學術界提供了強大工具與理論框架，加速推進生成式AI從2D走向3D的未來發展。

---

論文資訊
📄 DreamFusion: Text-to-3D using 2D Diffusion
👥 Poole, Jain, Barron, Mildenhall
🏆 ICLR 2023 · Outstanding Paper
🔗 arxiv.org/abs/2209.14988