Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training

近年來，擴散模型（Diffusion Models）在生成式任務中展現出驚人的表現，無論是在圖像合成、語音生成，甚至跨模態生成等領域，都成為研究熱點。然而，一個長期存在的核心挑戰是：為何擴散模型即使在高度過參數化的情況下，依然能有效避免對訓練資料的死記硬背（memorization），並擁有良好的泛化能力？

來自Bonnaire, Urfin, Biroli與Mézard的這篇NeurIPS 2025最佳論文《Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training》提出了全新的洞見，揭示訓練動態中一種隱含的正則化機制，正是幫助擴散模型避免過擬合的關鍵因素。

研究背景與動機

機器學習中「記憶」是雙刃劍：適度的「記憶」有助模型理解複雜資料結構，但過度的記憶就會導致過擬合，影響泛化性能。深度生成模型如GANs和VAE等，在訓練資料有限且模型複雜度高時，往往面臨強烈的過擬合問題。

擴散模型自2015年被提出以來，經過大規模優化，在生成高品質樣本上取得突破，但其訓練背後的理論理解仍未完全成熟，尤其是關於為何它們不容易過擬合的機理尚不明晰。

本論文聚焦於擴散模型的訓練過程，嘗試從訓練動態的角度解析何以擴散模型能於「泛化」與「記憶」之間達成微妙平衡，同時提出「隱含動態正則化」（implicit dynamical regularization）的核心概念，挑戰既有對於擴散模型泛化機制的認知。

核心方法與創新

本研究從理論推導與大量實驗兩方面入手，揭示擴散模型訓練過程中存在兩個關鍵時間尺度：

• 泛化開始時間（$\tau_\mathrm{gen}$）：模型開始產出高品質、具有泛化能力的生成樣本的時間點。
• 記憶開始時間（$\tau_\mathrm{mem}$）：模型開始出現對訓練資料明顯記憶（過擬合）特徵的時間點。

透過理論分析與數值模擬，作者發現這兩者的時間尺度差異及其依賴訓練資料數量的特性，是本論文的關鍵突破：

• $\tau_\mathrm{gen}$ 隨資料量增加維持不變：模型學會基本泛化能力所需要的時間主要由模型結構與算法決定，與資料集大小無顯著相關。
• $\tau_\mathrm{mem}$ 隨資料量線性增加：過度記憶的門檻時間會隨訓練集大小增加，這意味著訓練資料越多，模型能保持泛化狀態的訓練時段越長，較不容易陷入完全的過擬合。

這一現象創造了一個「泛化窗口」：當訓練時間介於雙時間尺度之間，擴散模型能產生高品質且非記憶性的生成結果。即使在高度過參數化下，這種訓練動態本身就起到一種隱含正則化的作用，不需要額外的明確正則化項就能實現良好泛化。

為了更加系統化理解這種現象，作者構建了一個可解析的隨機特徵模型（random features model），在高維極限條件下推導數學解析式，理論上證實了訓練過程的動態調控作用，並通過與標準U-Net架構在真實與合成資料上的實驗結果相互印證。

主要實驗結果

實驗層面，本論文採用以下方法驗證理論發現：

1. 訓練不同規模的擴散模型及資料集，系統探究生成品質與過擬合行為隨訓練時間變化的關係。
2. 衡量樣本生成質量（如FID分數）與記憶程度，以及研究兩階段時間尺度如何影響這兩者。
3. 在合成及真實資料集上比較其結果，證明理論模型及隱含正則化現象的普適性。

結果明顯顯示：

• 即使持續訓練，擴散模型也能在相當長的訓練時間窗口內維持優秀的泛化表現，未出現記憶現象。
• 隨著訓練資料量增大，過擬合發生的時間點線性延後，意味著應用大規模資料訓練擴散模型更能防止死記硬背。
• 在超參數控制及模型架構固定情況下，泛化時間尺度保持穩定，不隨資料量改變，強調泛化能力與訓練資料量的獨立性。

此外，數學模型中所得理論曲線與實際訓練過程高度吻合，呈現強有力的理論支持。

對 AI 領域的深遠影響

本論文從機理層面深入揭露擴散模型訓練的內涵，提出「隱含動態正則化」的概念，不僅解釋了擴散模型為何不容易陷入過擬合，也為生成模型設計與訓練策略帶來重要啟示：

• 理論突破：擴散模型訓練動態的雙時間尺度揭示了一個新的正則化型態，對理解深度學習模型的泛化機制具有里程碑意義，填補了生成模型理論理解的空白。
• 實務指引：研究強調訓練時間與數據量的平衡，提示訓練時不宜過度延長，且鼓勵大規模資料集以延長良性泛化時間，為AI工程師訓練大型生成模型提供有效策略。
• 新方法啟發：論文的方法論及隨機特徵模型的理論架構，將為未來探索其他類型高維隨機模型的泛化與記憶現象提供理論基石，推動生成模型研究快速發展。
• 跨領域影響：此研究成果也可能啟發計算物理、生物信息等領域中複雜系統動態與泛化問題的探討，舉例而言，模型訓練過程類比物理系統的非平衡動力學，開闢AI與自然科學的交叉研究新方向。

總結

Bonnaire等人在《Why Diffusion Models Don't Memorize》一文中，透過嚴謹的理論分析與豐富實驗，揭示了擴散模型訓練中兩階段時間尺度現象，說明模型內部自帶的隱含動態正則化機制如何避免記憶訓練資料、促進泛化。該工作具有高度前瞻性與實用價值，不僅深化生成模型的理論基礎，也為未來擴散模型的設計和應用提供寶貴指引，展現了人工智慧領域理論與實踐結合的典範。

---

論文資訊
📄 Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training
👥 Bonnaire, Urfin, Biroli, Mézard
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.17638