Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training

在過去幾年，擴散模型（Diffusion Models）在生成任務中展現了驚人的成果，成為當前生成模型領域的研究熱點。這類模型透過模擬數據逐步加入噪聲的過程，並反向還原噪聲，成功生成高質量且多樣化的數據樣本。然而，隨著訓練時間與數據容量的增加，一般深度學習模型常會面臨過度擬合（memorization）的問題，也就是模型可能僅僅「背誦」訓練資料而缺乏真正的泛化能力。此現象在生成模型中同樣關鍵，因為過擬合將導致生成樣本缺乏真實的多樣性，從而影響模型的實用性與可靠性。

本論文由 Bonnaire 等人發表於 NeurIPS 2025，榮獲最佳論文獎，主要針對擴散模型訓練過程中為何不易出現記憶行為提出深刻洞見。作者通過結合大規模數值實驗及嚴謹理論分析，揭示了一種稱為「隱式動態正則化（implicit dynamical regularization）」的新現象，此機制有效地在參數超過訓練資料量極大時，仍能防止過度擬合的發生，並維持模型的良好泛化能力。

研究背景與動機

擴散模型的優異性能引發社群對其訓練機制及泛化理論的強烈興趣。與傳統生成對抗網絡（GAN）或自回歸模型相比，擴散模型透過逐步加入與去除隨機噪聲的機制，提供了更穩定及有效的生成途徑。然而，擴散模型在過度擬合的行為與時間尺度理解尚不充分。過往的研究大多從靜態角度或參數正則化層面探討模型泛化，但鮮少關注訓練動態對模型最終行為的影響。

本論文從「時間」維度切入，深入分析擴散模型訓練過程中隨時間演化的兩個本質時刻：一是模型開始生成高品質樣本的時間點（稱為 $\tau_\mathrm{gen}$），二是模型開始明顯記憶訓練資料的晚期時間點（稱為 $\tau_\mathrm{mem}$）。作者發現這兩個時間尺度相對獨立，且 $\tau_\mathrm{mem}$ 會隨訓練資料數目線性增加，而 $\tau_\mathrm{gen}$ 則保持穩定不變。

核心方法與創新

此外，作者採用了標準 U-Net 架構在真實及合成資料集上的實驗，並搭配理論上易於解析的隨機特徵（random features）模型，於高維極限下嚴謹證明了發現的理論基礎。此理論模型捕捉到了擴散模型訓練動態的關鍵機制，成功解釋了為何擴散模型在「長時間訓練 + 大量資料」條件下依然能保持泛化能力。

研究中提出的隱式動態正則化指的是訓練過程中動態演化本身帶來的正則化效果，這種效果天然地抑制模型過早記憶訓練數據。與明確加入的正則化技術（如權重衰減、Dropout 等）不同，隱式動態正則化依賴於訓練動態中兩個時間尺度的分離，形成一個「良性窗口」，讓模型先達到高質量生成，才開始出現記憶行為。而且隨著資料量增加，此窗口逐漸擴大，給予足夠訓練時間來學習泛化特徵。

主要實驗結果

透過大規模實驗，作者確認以下關鍵事實：

• 時間尺度分離：生成能力的起點 $\tau_\mathrm{gen}$ 與記憶開始的時間 $\tau_\mathrm{mem}$ 明顯分離，且 $\tau_\mathrm{mem}$ 與資料量呈線性關係。
• 資料量影響記憶起點：隨著訓練資料量增加，模型記憶行為會被推遲，這代表更多資料能擴展模型泛化的安全訓練時間窗口。
• 超參數與模型結構的穩健性：此現象在不同擴散模型架構（例如 U-Net）與多類型資料集（合成與真實）中均一致出現，具有高度通用性。
• 理論模型吻合實驗：隨機特徵理論模型的解析解成功捕捉上面實驗現象，驗證隱式動態正則化為擴散模型泛化的根本原因。

對 AI 領域的深遠影響

本研究對生成模型理論與實踐產生重大啟示。首先，它突破過去對擴散模型泛化的理解，將訓練過程中的時間維度與動態演化納入核心分析框架，提供全新視角來看待訓練與泛化的關係。其次，隱式動態正則化的發現揭示了過度參數化模型仍能泛化的本質機制，這對深度學習理論具有深遠價值，並可推廣至其他類型神經網絡。

此外，該研究對生成模型的訓練策略設計有實際指導意義。根據結果，合理選擇訓練時間與資料量能有效避免過度擬合，而非盲目延長訓練，為現有擴散模型的訓練提供了理論依據與操作指南。未來研究可基於此框架進一步探討如何設計更智能的動態調整機制，提升大規模生成模型的安全性與穩定性。

綜合而言，《Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training》這篇論文不只回答了擴散模型為何不易記憶訓練資料的核心問題，更揭示了訓練動態中隱藏的正則化機制，為生成模型理論發展揭開新篇章，值得 AI 研究者與工程師深度學習與借鑒。

---

論文資訊
📄 Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training
👥 Bonnaire, Urfin, Biroli, Mézard
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.17638