Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training

近年來，擴散模型（Diffusion Models）在生成式任務中展現了卓越的表現，無論是圖像合成、語音生成到文本生成等領域，其生成的內容品質與多樣性均達到前所未有的高度。儘管如此，這類龐大且高度參數化的模型，理論上極易陷入「記憶」訓練資料的陷阱，導致過擬合、泛化能力下降。然而，實際觀察卻發現，擴散模型在合理訓練階段表現出良好的泛化能力，並不像傳統擔憂的那般輕易「背誦」訓練集數據。此現象引發學術界對其內在動力學的關注。Bonnaire 等人於 NeurIPS 2025 發表的論文《Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training》即致力於探索該問題的根本機制，並獲得年度最佳論文殊榮。

研究背景與動機

生成模型的關鍵挑戰之一在於如何平衡模型容量與泛化能力。在傳統深度學習理論中，高度參數化模型若無有效正則化，極易「記憶」訓練資料細節，導致測試階段表現不佳。擴散模型採用逐步加噪與反向生成（denoising）的機制，有別於 GAN 或變分自編碼器，其訓練過程與生成機制具有更為複雜且迭代的時間序列性質。研究者懷疑這種「擴散-反擴散」動力學內建某種隱式正則化機制，使得模型在特定訓練時間窗內，可以產生高品質且不具過度記憶性的樣本。該論文的核心動機正是在於系統性揭露這種「隱式動態正則化」（implicit dynamical regularization）對防止過度記憶的重要作用，並分析其如何隨訓練集大小與訓練時間演變。

核心方法與創新

本論文的特色在於結合實證與理論雙管齊下，透過大量在真實與合成數據上，使用標準 U-Net 結構的擴散模型訓練實驗，揭露出兩個關鍵的時間尺度：

• 生成啟動時間（τ_gen）：模型在此階段起始能產生具備高品質的多樣化樣本，泛化能力開始顯現。
• 記憶啟動時間（τ_mem）：模型開始過度擬合訓練資料，展現明顯的記憶行為。

論文重點發現是，τmem 隨訓練集大小 n 線性增加，然而 τgen 幾乎保持不變，表示隨著資料愈多，模型可以持續在更長時間範圍內維持泛化狀態，而延後出現記憶過擬合的風險。此外，當訓練時間超過 τmem，過度記憶才明顯浮現，顯示訓練時間長短是調控過擬合的重要變數。

從理論層面，作者建立了一個可解析的隨機特徵（random features）模型，並在高維極限下進行嚴謹分析。該分析支持實驗觀察，證明動態訓練過程本身蘊含正則化效果，這種「隱式動態正則化」是避免過度記憶的關鍵。不同於傳統顯式正則項或提前停止，擴散模型因其訓練機制具有自然分離的雙重時間尺度，使得能在較久的訓練期間內取得優良泛化，而不致立即陷入記憶陷阱。

主要實驗結果

實驗部分，作者運用多種數據集（包含 CIFAR-10、CelebA 以及合成資料）並以標準 U-Net 作為擴散模型骨架，透過系統性調整訓練時間與訓練集大小，驗證了雙時間尺度假說。具體結果如下：

• 固定訓練集大小時，擴散模型在 τgen 後即可生成高畫質、多樣性的圖像，性能穩定，並無立即記憶跡象。
• 隨時間訓練超過 τmem 時，生成樣本開始呈現過度擬合現象，樣本多重復訓練資料特徵。
• 增大訓練集大小 n，τmem 亦線性增長，產生更寬廣的「泛化窗口」，允許更長訓練時間仍維持良好泛化。
• 在極端大數據量下，過度記憶問題會逐漸消失，即使訓練時間趨近無限，模型亦能穩健泛化。

這些豐富而一致的實驗證據，強化了隱式動態正則化存在的說法，並指出訓練策略（特別是訓練時間與數據量的搭配）需受重視，避免過早或過久訓練造成效果下降。

對 AI 領域的深遠影響

本論文不僅為擴散模型卓越泛化能力的根本原因提供了理論基礎，也為深度生成模型的訓練動力學開啟全新視角。過去生成模型常被批評為龐大參數導致過擬合威脅，而本研究提出動態正則化的概念，有效說明擴散模型如何「天然」避開記憶陷阱。

此發現帶來多項實務與理論上的啟示：

1. 訓練時間調控的新指標：過去訓練多半焦點放在收斂速度及最佳效能點，本研究提示應重視雙時間尺度窗口，使訓練時間控制成為避免過擬合的有效手段。
2. 數據規模與模型訓練的關係更明確：隨著資料規模擴增，擴散模型所謂泛化階段延長，有助於設計訓練大規模數據集的策略，提升模型的穩定性與可靠性。
3. 動態正則化理論的推廣潛力：其背後隱含的動態系統分析與高維模型助於解釋其他類型深度模型訓練中的泛化現象，可能催生廣泛的新研究方向。
4. 指導生成模型未來設計：此研究也暗示未來生成模型可透過設計特定的訓練動力學或結合動態正則化手段，提高泛化性能並防止資料洩漏與過度記憶風險。

總結來說，Bonnaire 等人這篇論文成功鑽研擴散模型在訓練過程中的隱式正則化現象，透過理論與實驗呈現雙重時間尺度，闡述了為何擴散模型能「不記憶」訓練數據並保持優異泛化。此結果不僅豐富了生成模型的理論圖譜，也為工程實踐提供具體可操作的指導建議，是推動生成 AI 研究與應用的重要里程碑。

---

論文資訊
📄 Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training
👥 Bonnaire, Urfin, Biroli, Mézard
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.17638