Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution

隨著生成模型的快速發展，擴散模型（Diffusion Models）已成為生成式 AI 領域的明星技術，特別是在連續數據（如影像與音訊）的生成上展現出卓越的性能。然而，針對離散數據（如文本、離散標籤、分類資料等）進行擴散建模卻面臨諸多挑戰。ICML 2024 年的最佳論文《Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution》，由 Lou、Meng 與 Ermon 提出了一種嶄新的方法框架，不僅突破了離散擴散建模的瓶頸，也帶來理論與實務層面的深刻影響。

一、研究背景與動機

擴散模型原先設計基於連續空間，藉由逐步向添加高斯噪聲過程，最終將真實數據的分布轉變成簡單的參考分布（如標準常態），再透過反向的去噪過程生成新樣本。此方法因其優異的樣本多樣性及生成品質，逐漸取代 GAN 及變分自編碼器（VAE）成為重要生成模型。然而，當嘗試將擴散模型應用於離散資料時，標準的連續添加噪聲機制不再適用，而以離散狀態間的轉移概率來建構擴散機制則異常困難，一方面難以有效設計合適的前向過程，另一方面在反向過程建模時需要對複雜且高維的離散空間分布進行估計，極大增加建模困境。

近年來已有少數研究嘗試透過離散擴散過程來生成文本或分類資料，但通常需要預先假設特定的轉移矩陣，或是在無法明確計算真實數據分布的情況下，難以穩定估計反向機率。這使得離散擴散模型在理論性與實務應用面遭遇瓶頸。因此，Lou 等人本次提出的論文，是基於一個核心理念：直接建模「資料分布比率（ratio of data distribution）」，透過估計連續分布之間的局部比例關係，來開發高效且穩定的離散擴散生成框架。

二、核心方法與創新

本論文的關鍵創新在於引入一種估計資料分布比值的新策略，跳脫傳統對轉移矩陣的大量依賴。具體而言，論文視離散擴散過程為一系列資料分布的介變流，重點放在估計相鄰時間步的資料分布比率，透過以下幾個步驟：

1. 資料分布比率定義：作者將離散擴散過程中相鄰時間點 \(t\) 和 \(t-1\) 的資料分布 \(p_t(x)\) 和 \(p_{t-1}(x)\) 間的比率作為建模目標，換言之，直接學習 \(r_t(x) = \frac{p_{t-1}(x)}{p_t(x)}\) ，這種技巧讓模型能夠在估計反向機率時，利用比率反轉機制避免對完整分布的顯式建模。
2. 局部分布比例估計：論文設計了專門的神經網路架構與損失函數，使模型能有效捕捉局部分布間的比值。這裡的「局部」指針對每個離散狀態空間中的鄰接點，估計其條件概率比率，顯著降低計算複雜度，且避免傳統轉移矩陣設計的僵化規則。
3. 反向擴散過程重構：利用估得的資料分布比率，反向步驟（去噪過程）可重建狀態由 \(p_t\) 向 \(p_{t-1}\) 遷移的機率分佈，從而實現高效離散生成能力。這種方法本質上提供了更為靈活且穩健的機率估計手段，兼具理論保證與實作可行性。

值得注意的是，該方法嚴謹地闡述了離散空間中資料比例估計對生成品質與模型訓練穩定性的影響，並利用數理分析證明其收斂性與一致性，這在離散擴散建模領域中尚屬首次。

三、主要實驗結果

作者在數個標準離散生成任務中進行評估，包括文本生成、圖像分類標籤合成，以及部分具有結構性的離散資料集。實驗結果表明：

• 本方法在文本生成任務中，相較於主流的離散擴散方法，展示出更優的困惑度（perplexity）及生成多樣性，且生成內容具備更高的語義一致性，顯示該模型能有效捕捉離散標籤間複雜分布。
• 在標籤合成任務上，本方法優於傳統條件生成模型（如 Conditional VAE 或 GAN）與其他離散擴散基線，生成的標籤分布能更準確反映原始資料分布特性，具備穩定性及抗模式崩潰能力。
• 模型訓練速度與推論效率亦有顯著提升。相較於傳統基於轉移矩陣繁瑣計算的離散擴散方法，新方法依賴局部分布比率估計，大幅減少計算資源消耗，且提升了抽樣速度。

除此之外，作者還展示了該方法在極端稀疏樣本情境下的強健表現，說明其能有效應對小樣本以及高維離散空間的挑戰。

四、對 AI 領域的深遠影響

本論文提出的「透過資料分布比率估計離散擴散過程」開拓了擴散模型在離散領域應用的新視野，其理論體系與實作技巧具備以下長遠影響：

• 拓展擴散模型的適用範圍：傳統擴散模型多聚焦於連續數據，本研究使得擴散框架能夠有效處理複雜離散空間，開啟了生成模型應用於文字、符號系統、分類資料甚至分子序列等多元離散任務的新契機。
• 為離散生成模型提供新範式：透過直接估計資料分布比率，作者打破了離散擴散模型在機率估計上的限制，為日後設計更靈活、高效的離散生成模型提供了全新思考方向，促進後續研究。
• 理論與實踐兼備，具備可推廣性：該方法的數理證明加強了擴散過程的理論基礎，提升研究的說服力；同時實驗涵蓋多種資料類型及範疇，反映出方法的廣泛通用性，適合應用於產業與學術研究場景。
• 提升跨模態多模態生成潛力：由於很多多模態任務包含離散語言與連續影像等混合數據，該研究為如何設計跨模態擴散模型提供了可能，進而促進語言影像、程式碼生成及符號推理等領域嶄新進展。

綜合來看，Lou 等人的這項創新工作不僅在理論上深化了對離散空間擴散機率建模的理解，也在實務上推動生成模型面對離散資料的能力邁向新高峰。隨著更多研究團隊探索資料分布比率估計的潛力，未來離散擴散模型必將在自然語言處理、計算生物學、推薦系統等多個重要 AI 應用領域發揮重要作用。

總結而言，《Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution》以精巧的理論推導、高效的實驗驗證及深具啟發性的模型設計，榮膺 ICML 2024 最佳論文，堪稱離散擴散建模之里程碑，值得所有對生成模型及離散資料處理有興趣的研究者深入研讀。

---

論文資訊
📄 Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution
👥 Lou, Meng, Ermon
🏆 ICML 2024 · Best Paper
🔗 arxiv.org/abs/2310.16834