Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution

在生成模型的領域中，擴散模型（Diffusion Models）近年來因其在圖像生成等連續數據上的卓越表現，成為熱門研究方向。然而，當擴散模型應用到離散資料領域，如自然語言處理（NLP）時，卻面臨顯著的挑戰。這主要源於目前擴散模型背後的理論基礎──分數匹配（Score Matching）法，其原理和數值表達形式均以連續空間為依據，直接套用至離散空間時效果並不理想，導致生成品質遠不及連續數據的水準。

本篇由Lou、Meng與Ermon發表於ICML 2024並榮獲最佳論文獎的研究《Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution》正是針對此一重要缺口提出了創新解決方案。研究團隊突破性地將擴散模型理論推廣至離散領域，並提出一種名為「分數熵（Score Entropy）」的新型損失函數，完美地延伸與重構了分數匹配在離散空間的理論基礎，成功打造了名為SEDD（Score Entropy Discrete Diffusion）的離散擴散模型。

研究背景與動機

傳統的擴散模型中，生成過程被解讀為一種逆向去噪過程，核心在於學習資料分佈對數的梯度，也就是分數函數（score function），這在理論上可以透過分數匹配來近似學習。當資料為連續變數時，如影像像素的上下文，這一理論非常自然且具有效率。但文本等離散資料的本質是非連續且具離散結構，直接套用分數匹配不僅理論上不嚴謹，且學習目標不明確，常導致模型難以有效捕捉字詞的結構化分佈和複雜語義關係。

過去已有嘗試將擴散模型改造成適用於離散空間，例如採用替代距離度量、結合特殊預處理或基於自回歸方法的混合策略，但這些方法在性能和計算效率上皆不能與主流自回歸語言模型競爭。此外，離散擴散模型往往依賴「退火」等技巧調節生成過程，使生成的文字更自然，但這增加了使用複雜度和推論成本。

核心方法與創新

本論文最核心的創新在於從本質上重新定義了離散擴散模型的學習目標。論文提出「分數熵損失函數（Score Entropy Loss）」，它是對分數匹配在離散空間的自然延伸。透過引入「資料分佈比率（ratios of the data distribution）」的估計，研究者巧妙地將難以定義的離散分數函數轉化為易於計算且具理論保障的損失形式。這使得離散擴散模型不再需要依賴連續微分的約束，避免了過去設計上的瓶頸。

具體來說，傳統分數匹配是基於資料分佈p(x)的梯度∇_x log p(x)的學習，難以適用離散x。研究團隊提出直接估計p(x')/p(x)這種概率比率，利用此比率作為核心參數，間接描述分佈轉移的行為，並定義分數熵作為泛函損失，有效引導模型學習狀態變化中的條件分佈。這種方法保留了擴散模型平滑的去噪過程特性，卻能實際作用在離散結構上。

整體架構中，SEDD模型具備以下幾個關鍵優勢：（1）無需針對離散空間設計複雜的漸進退火參數，生成過程天然穩定；（2）能夠直接在詞級別的離散空間中訓練和生成，十分符合自然語言的本質；（3）支持多樣化的抽樣策略，包括可控填補（controllable infilling），進一步擴大了應用彈性；（4）實現高效與高質量的性能取捨，可根據需求調節推理計算成本與生成品質，適合實務部署。

主要實驗結果

論文中，作者針對標準語言建模任務進行全面評估。實驗中，SEDD在模型參數規模相近的條件下，明顯優於現有的離散擴散模型框架，相關語言模型困惑度（perplexity）降低了25%至75％。更令人驚豔的是，SEDD在多項語言生成品質指標上，與標竿自回歸模型GPT-2相比表現同樣優異，甚至在未使用溫度調節等技巧的前提下，生成品質超過未經調節的GPT-2高達6至8倍的困惑度改善。

此外，SEDD的抽樣速度和計算成本相對自回歸模型也有顯著優勢。在保持類似生成品質的情況下，SEDD在某些實驗中僅需32倍較少的網絡推理次數，相較自回歸生成的逐步輸出方式大幅加快生成效率。這使得SEDD在實務應用時更具彈性，可依場景需求轉換生成速度與結果精度的平衡。

控制生成策略的實驗也十分吸睛。不同於傳統左到右的自回歸生成策略，SEDD能無縫支援如可控填補等複雜生成任務，同時生成內容的品質足以匹敵主流的核取樣（nucleus sampling）方法。這種彈性不只提供多樣的文本生成方案，也為下游如對話系統、文本補全、語意重寫等任務帶來更多可能。

對 AI 領域的深遠影響

這篇論文的貢獻不僅是將擴散模型成功帶進離散資料領域，更在理論上提出了對離散生成模型訓練目標的全新詮釋，為離散生成建模提供了新的研究範式。過去離散生成模型多依賴自回歸，生成效率低且易受長距依賴限制；而基於擴散的非自回歸方法則因技術瓶頸未能發揮潛力。SEDD模型的誕生解決了此關鍵矛盾，打開了離散資料生成的全新可能性。

更深層來看，分數熵損失及概率比率估計的設計具備跨領域應用潛力。例如，圖形結構、基因序列、符號邏輯推理等多種非連續結構數據均屬離散空間，該方法能夠引導這些復雜結構的生成與建模問題，促進新一代智能系統在多種領域的革新。

從應用角度，SEDD在自然語言生成上的表現給出了非自回歸方法與自回歸方法競爭的示範，有望改變大型語言模型固有的架構設計思維。尤其在實時生成、高效能計算有限的環境中，SEDD的策略將令生成任務更加靈活與可控，推動文本智能生成技術進入一個新階段。

綜合而言，本論文藉由理論創新和實驗驗證，有效突破了離散數據生成的困境，為擴散式生成模型的發展打下堅實基礎。未來隨著越來越多研究者跟進與優化，離散擴散模型勢必成為AI生成技術不可或缺的核心組件，提升從語言到符號推理等多種智能任務的能力和效率。

---

論文資訊
📄 Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution
👥 Lou, Meng, Ermon
🏆 ICML 2024 · Best Paper
🔗 arxiv.org/abs/2310.16834