DreamFusion: Text-to-3D using 2D Diffusion 深度解析

隨著深度學習技術的快速演進，尤其是擴散模型（Diffusion Models）在文字生成圖片（text-to-image synthesis）領域的突破，AI 藝術生成、虛擬實境以及數位內容創作皆迎來革命性進展。然而，從「文字」直接生成「三維模型」的挑戰依然存在。三維資料豐富卻標註稀缺，且三維數據體積龐大、結構複雜，使得要訓練大量含文字與三維場景的資料集，或打造相應的三維擴散模型架構，變得非常困難。

研究背景與動機

在文字到影像合成領域，透過像是 DALLE-2、Stable Diffusion 等基於大規模圖文資料訓練的擴散模型，已經能生成高解析度且貼近文字描述的圖像。這種進步啟發了研究者嘗試將同樣的文字條件資訊拓展成三維物件，希望能讓使用者只用一句簡單描述，例如「一隻戴帽子的貓」，就能快速生成可旋轉、可光照調整的高品質三維模型。

然而，當前市面上並沒有龐大且完整標註的三維物件語料庫能用於擴散模型的訓練，加上三維數據相較於二維影像更難處理和生成，導致三維合成技術發展受限。因此，DreamFusion 團隊試圖以創新的方式突破此瓶頸：不重新訓練三維擴散模型，而是利用既有強大的二維文字擴散模型作為先驗知識，間接生成三維模型。

核心方法與創新

DreamFusion 的核心創新點在於提出了一種稱為 概率密度蒸餾（Probability Density Distillation, PDD） 的新穎損失函數，能夠將二維的文本擴散模型作為先驗，轉化成三維模型的優化目標。具體流程如下：

1. 使用神經輻射場（Neural Radiance Field，簡稱 NeRF）作為三維模型的參數化形式。NeRF 透過神經網路學習隨視角變化的體積渲染，是目前生成高度真實感三維場景的主流技術。
2. 從隨機初始化的 NeRF 開始，反覆渲染隨機視角的 2D 圖像。
3. 將這些渲染圖像輸入預訓練好的 2D 文字擴散模型，利用 PDD 損失評估這些圖片與輸入文字描述的匹配程度。這個損失本質上是衡量渲染圖像被擴散模型判斷合乎文字意圖的概率。
4. 透過梯度反向傳播回 NeRF 模型參數，使其生成的三維模型逐漸逼近文字要求的物體。

此方法有如DeepDream的逆向優化策略，但不同於直接優化圖片像素，而是優化NeRF參數，最終產生的三維模型可實現任意旋轉、調光及組合。此外，該方法不需任何三維標註資料，完全仰賴已存在的大規模2D文字擴散模型進行監督，跳脫過去需要三維資料集建模的限制。

主要實驗結果

研究團隊在多組文字描述指令下，展示出能夠生成多樣豐富的三維物件和場景，例如動物、家具、卡通造型等。渲染結果不僅具有高度細節，且能根據不同視角呈現自然的光影與形狀變化。與過去同類技術比較：

• DreamFusion在三維模型的完整性與視角一致性上有顯著提升，生成的物件輪廓清晰且符合文字語意。
• 不依賴三維資料訓練，顯著降低了資料收集與標註的成本與門檻。
• 在三維重建與合成的運算效率上，利用已有的二維擴散模型進行優化，也展現出較高的靈活性和通用性。

此外，團隊展示了模型在「多重物件融合」與「複雜場景生成」方面的潛力，表明未來有望生成更複雜的三維內容，配合虛擬實境（VR）、擴增實境（AR）等應用擴展場景。

對 AI 領域的深遠影響

DreamFusion 將先前二維擴散模型的力量有效引入三維生成領域，不僅突破了三維數據稀缺的限制，也為三維合成問題提供了全新思路。其影響可從以下幾方面來看：

1. 跨模態知識轉移：此研究成功從2D模型轉移知識至3D生成，展示了跨模態蒸餾技術的潛力，未來可應用於更多不同形式資料的生成與優化。
2. 減少對標註資料依賴：大幅降低對大量三維標註資料的需求，推動三維生成技術在缺乏數據環境的廣泛應用，尤其對中小型研究團隊十分友好。
3. 開啟新型三維內容創作渠道：透過文字即可直觀生成豐富三維內容，降低創作門檻，促進三維內容在遊戲、電影、設計等產業的普及與創新。
4. 促進多視角感知與理解：基於NeRF架構，生成的三維模型兼具真實感與多視角一致性，有助於進一步提升機器對三維空間的理解力，對自動駕駛、機器人導航等領域意義深遠。

總結來說，DreamFusion 的提出代表了一座橋梁，連結了成熟的二維擴散文字成像技術與充滿挑戰的三維生成任務，不僅技術思路創新，更充分利用了現有預訓練模型的力量，避免了昂貴的大規模三維數據訓練。這種利用既有模型作為「先驗」進行新領域探索的策略，為未來跨領域 AI 研究帶來寶貴借鑑與探索方向。

隨著此類文本驅動三維生成技術愈發成熟，預期將進一步推動虛擬製造、自動設計、沉浸式娛樂乃至於線上電商等產業的數位轉型與創新。

參考論文與開源資源連結：
DreamFusion: Text-to-3D using 2D Diffusion (ArXiv)

---

論文資訊
📄 DreamFusion: Text-to-3D using 2D Diffusion
👥 Poole, Jain, Barron, Mildenhall
🏆 ICLR 2023 · Outstanding Paper
🔗 arxiv.org/abs/2209.14988