Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training

隨著生成模型在影像、語音等多種領域的迅猛發展，擴散模型（Diffusion Models）因其卓越的生成品質與多樣性，成為近年來的研究熱點。儘管擴散模型在50多億參數的大型神經網路中表現優異，但其訓練過程中的泛化能力一直是學術界與工業界關注的焦點之一：為何這些高度過參數化的模型在大量資料下訓練，竟能避免「過擬合」到訓練資料？即使模型具有強大表達能力，為何不會直接背誦（memorize）訓練資料，反而能生成高品質的未見樣本？來自 Bonnaire 等人於 NeurIPS 2025 年獲得最佳論文獎的這篇研究，正是針對這一問題，提出了嶄新的理論框架與實證分析，揭示了擴散模型訓練中隱含的動態正則化機制，深刻解答了為何擴散模型能有效泛化。

研究背景與動機

生成模型的核心目標是從複雜的高維資料分布中學習，進而生成與訓練資料相似但非完全相同的新樣本。傳統上，深度過參數化模型面臨過擬合（memorization）危機，即模型過度擬合訓練集，導致泛化性能下降。擴散模型透過逐步加入噪音及逆過程生成數據，似乎在本質上避免了此問題。許多先前文獻從架構設計、正則化技術或資料集特性分析擴散模型優異的泛化能力，但對「訓練動態」如何影響泛化截然沒有深入探討。本論文基於此缺口，提出透過訓練過程中不同時間尺度的分析，尋找隱藏在梯度下降等演算法中的「動態正則化」，用以解釋擴散模型避免memorization的機制。

核心方法與創新點

作者首先基於擴散模型的訓練迴圈，概念化出兩個關鍵時間尺度：

• τ_gen（泛化起始時間）：模型開始生成高質量、具有泛化能力的樣本的時間點。
• τ_mem（memorization開始時間）：模型開始明顯背誦訓練數據、過擬合的時間點。

透過多組 U-Net 架構在合成及真實數據集上的實驗，他們發現 τ_gen 幾乎不隨資料量大小而變動，維持在一個穩定的時間點；然而 τ_mem 隨著訓練資料數量 n 線性增加，代表資料越多，模型可訓練且保持泛化的時間窗越寬。這個「泛化時間窗口」隨 n 擴大，阻止模型過早overfitting。

為了理論佐證與數學解析，作者引入一個可解的隨機特徵（Random Features）簡化模型，並在高維極限下，以隱式動態正則化框架分析該模型訓練軌跡。結果顯示：梯度下降等優化演算法本身，隱藏地實現了一種時間上有限的正則效果，導致模型在早期學習階段著重捕捉資料的「共通結構」，而非細節或噪聲，這便防止了快速memorization的發生。隨著更多訓練時間與資料加入，模型才逐漸有可能過擬合，但此時因為資料量成長，過擬合現象被有效推遲甚至消失。

主要實驗結果

實驗部分，作者以標準 U-Net 架構在 CIFAR-10 等影像資料及合成資料集進行訓練，觀察生成樣本品質與訓練損失隨時間的變化：

• 在訓練初期（約 τ_gen），模型已展現出良好的生成樣貌，樣本即具備多樣性且非單純複製訓練集。
• 過了一定訓練時長（約 τ_mem），模型生成的樣本開始出現與訓練資料過度相似，顯示memorization跡象。
• 透過調整訓練資料規模 n，τ_mem相對 τ_gen 更明顯拉開，資料越多此差距越大，留給泛化的窗口更寬。
• 在隨機特徵理論模型中，分析結果吻合實驗觀察，並明確量化出隱式正則化的機制與效果。

此外，研究發現模型依賴的資料量門檻與其架構與超參數密切相關，指出設計更適合的架構可以進一步強化這種天然的動態正則化效果。

對 AI 領域的深遠影響

本論文首次細緻揭示了擴散模型在大規模過參數化條件下不易memorize的內在原因——「訓練動態中隱式動態正則化」的存在。這不僅豐富了生成模型理論體系，也對後續模型設計與訓練策略提出深刻啟示：

• 優化動態視角：將泛化能力視為與訓練時間尺度密切相關，揭示了時間軸上的「訓練策略」可作為正則化手段，而非僅依賴明確正則項或資料增強，使得科研工作者在訓練調度與早停策略上可有更合理依據。
• 大規模模型的安全訓練：證明增大資料集能有效延後memorization，為如今海量資料訓練大型生成模型提供理論支持，也減少模型背後潛在的隱私風險。
• 跨領域理論推進：隨機特徵理論模型與實驗相互印證，達成理論與實務高度一致，促進理解深度神經網路訓練動態的前沿研究，未來或能擴展至其他生成模型。
• 模型架構優化的新方向：指出不同模型架構將影響隱式正則化的效果，促使後續研究設計專門針對動態正則化特性的網絡架構，以提高泛化與穩健性。

總體來說，本研究不僅解決了一個生成模型泛化中的核心理論謎題，也為未來生成模型的可解釋性、安全性與普適泛化提供了新的視角。隨著擴散模型與類似架構越來越廣泛應用於醫療、藝術、機器人等關鍵領域，理解這種隱式動態正則化現象的本質，將成為推進 AI 更加可信與高效的重要基石。

---

論文資訊
📄 Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training
👥 Bonnaire, Urfin, Biroli, Mézard
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.17638