Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations

在近年深度學習快速發展的浪潮中，擴散模型（Diffusion Models）因其在圖像生成任務上的卓越表現，成為生成式模型研究的重點。這類模型透過將數據逐步加入隨機噪聲，然後學習反向「去噪」過程來還原原始數據，其生成影像的品質甚至可與GANs媲美，並展現出良好的多樣性。然而，在這樣的框架下，一個核心且具爭議性的問題浮現：當模型看似達成極佳生成效果時，它到底是「理解」了資料的內在分布，還是僅僅記憶了訓練資料？

本篇由Kadkhodaie等人合作發表於ICLR 2024並榮獲Outstanding Paper獎項的論文《Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations》，正是針對此一問題進行深入研究。作者嘗試解開為何擴散模型能在海量高維圖像空間中成功泛化，而非走向過度擬合或記憶訓練樣本的迷思。其發現不僅有助理解擴散模型的內部機制，也對生成模型的理論基礎帶來全新洞見。

研究背景與動機

擴散模型本質上是利用深度神經網路（DNN）來學習從被加噪聲狀態還原至原始資料的score function（即數據分佈的分數函數，gradient log probability）。由於圖像數據存在於極高維度空間，一般來說要想有效估計其分布且生成高品質樣本，是一件挑戰極大的事情，理論上可能遭遇「維度詛咒」。然而，擴散模型的表現卻反其道而行，顯示它們某種程度上「逃脫」了維度的限制。

另一方面，部分研究指出擴散模型在資料少時可能會呈現記憶訓練集圖像的現象，這使得科學界質疑這些模型是否真的捕捉到真實連續資料分佈，或只是對訓練樣本的複製。一旦確實存在過度擬合，則模型的泛用能力令人擔憂。

基於此，本論文的動機在於揭露擴散模型的泛化能力機制：深度神經網路經由何種內在結構或先驗偏好，使其能學習到可推廣的資料分布？只有弄清這層「黑盒」機制，擴散模型的發展與改進才能有理論指引。

核心方法與創新

本研究以理論與實驗相結合的方式深入分析擴散模型學習的「去噪函數」，特別聚焦於兩大創新方向：

1. 跨數據子集的score function一致性驗證：
   作者訓練兩個神經網路分別在資料集的非重疊子集上，結果發現當訓練樣本足夠多時，兩者學出的score function幾乎相同，暗示模型能夠從有限資料中學習到接近資料真實分布的連續密度函數，而非純記憶。
2. 基於幾何適應（geometry-adaptive）調諧的調和（harmonic）基底展開去噪函數：
   經分析後發現，去噪函數的本質是在一組根據圖像內容—如輪廓與均勻區域—自適應生成的振盪調和基底上做縮減（shrinkage）操作。這些基底天然捕捉圖像的幾何結構，使得去噪過程精準且有效。更重要的是，即便網路是在支持於較低維流形的非自然資料類別上訓練，也逼近類似的幾何調和基底，表明這是神經網路的先驗偏好，而非純粹依賴資料集的統計特性。

此外，當網路訓練於結構清晰、最佳基底已知為幾何調和基底的圖像類別上，其去噪性能接近理論最佳，體現了方法的理論意義與實用價值。

主要實驗結果

作者設計了多組實驗來驗證其假設與理論推論：

• 透過比較兩個獨立訓練的網路在不同數據子集上的score function，發現兩者高度一致，佐證模型蘊含強泛化能力，而非簡單記憶。
• 可視化分析去噪函數在自適應基底下的係數，發現明顯的縮減效應，並且基底本身呈現沿圖像幾何結構（輪廓、紋理等）的振盪模式，與傳統調和分析方法中發現的現象相似。
• 在合成資料集（如流形支持的影像類別）與真實照片類別上的訓練結果皆呈現相同幾何-調和基底偏好，顯示該現象具有普適性。
• 對比不同基底類型的去噪性能，在最佳理論基底條件下，網路幾乎達近似最優的恢復性能，印證該幾何適應調和表示對模型泛化的關鍵性。

對 AI 領域的深遠影響

本論文在生成模型，尤其是擴散模型理論理解方面帶來了突破性視角。首先，它透過實證展現當訓練資料充分時，深度神經網路並非淺層記憶資料集，而是學習出真正的連續資料分布，消解了關於擴散模型「過度擬合」的疑慮，加強了對其泛化能力的信心。

其次，作者揭示了深度去噪網路內部運作的基礎，即模型的先驗偏好是圍繞著與圖像幾何結構相適應的調和基底進行縮減操作。這種幾何適應調和表達不僅提供了一種新的特徵空間觀察角度，也為今後可解釋性的生成模型設計提供理論依據。

再者，該發現促使研究者重新思考如何在神經網路架構與訓練策略上加入或強化這類基於圖像幾何的先驗，以提升生成模型的表現及穩健性。未來有機會藉由引入明確的幾何調和分析，來設計更高效且可靠的生成方法。

綜合而言，這篇卓越論文透過理論與實驗交織出一幅清晰圖像，深入解碼了擴散模型泛化的本質。其研究成果不僅推動生成模型的理論前沿，也為實務應用中提升影像生成質量與穩定性提供了新視角，將對未來AI影像生成技術發展產生深遠而持久的影響。

---

論文資訊
📄 Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations
👥 Kadkhodaie, Guth, Simoncelli, Mallat
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.02557