Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations

隨著生成式模型在電腦視覺領域的快速發展，擁有強大生成能力的「擴散模型」（Diffusion Models）逐漸成為研究熱點。透過逐步添加與去除雜訊的反向過程，擴散模型能夠從雜訊中復原出逼真的影像，成功應用於圖像合成、修復及超解像等任務。然而，這類模型背後所學習的機制與其泛化能力，仍存在不少理論與實務上的疑問。例如：模型是否真正學習到所謂的「資料分布」的連續表示？還是僅僅是對訓練資料的「記憶」？本篇由 Kadkhodaie、Guth、Simoncelli 與 Mallat 於 ICLR 2024 年刊登並榮獲「Outstanding Paper」獎項的論文《Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations》，深入探討擴散模型泛化背後的數學結構與 inductive bias（先驗偏好），提供了具突破性的理論見解與實驗驗證。

研究背景與動機

傳統的機率密度估計隨維度增高而面臨「維度詛咒」（curse of dimensionality），特別是在影像這種高維度資料上更為嚴重。擴散模型作為深度神經網路的一種，以去噪為核心技能訓練「score function」──即數據分布的梯度資訊，藉由反向擴散重新取得高品質樣本，近期在視覺生成任務中表現卓越。然近期研究卻揭示，部分擴散模型可能過度覆蓋（overfitting）或記憶訓練集，這挑戰了模型「真實學習」資料分布的理論基礎。
因此，文章核心疑問為：在何種條件下，擴散模型能夠強泛化，並且真實學得連續的數據密度？這牽涉到模型本身的 inductive bias 與資料的內在幾何結構。作者希望從數學基底的角度，分析為何模型能在大量訓練資料下產生穩定且新穎的生成樣本，並進一步解讀學習到的去噪函數的性質，有別於只是單純記憶訓練集中資料點。

核心方法與創新

本論文的主要貢獻在於揭露訓練好的去噪網路，在強泛化 regime（即足夠大量且非重疊的訓練子集）中，學得的 score functions 彼此非常接近，對應的密度估計也趨於一致。換言之，不同數據集子集訓練所得的模型並非記憶，而是在追蹤同一連續分布。

為解析為何模型能有效泛化，作者透過數學分析發現：學到的去噪作用相當於在依據影像幾何結構調適的「調和基底」(geometry-adaptive harmonic bases) 中對信號進行「收縮(shrinkage)」操作。此基底具有沿著圖像輪廓與均質區域的類振盪(harmonic)特性，能優雅地捕捉影像中空間變化的幾何訊息。

值得注意的是，這種基底並非單純的傅立葉或傳統的圖像表示方法，而是動態根據圖像結構而調整，融合了局部幾何資訊；同時這種基底的存在，不只限於自然照片，也存在於其他低維流形上，甚至在基底本身不是最優的情況下，訓練得到的網路依然出現此類結構，說明這是模型本身的 inductive bias。

最後，作者在已知最優基底為調和且幾何自適應的正規圖像類（regular image classes）上訓練模型，取得了接近理論最優的去噪表現，進一步驗證了他們理論假設的有效性與普遍性。

主要實驗結果

首先，實驗驗證了兩組在非重疊子集上訓練的深度網路，所學到的 score 函數高度相似，意味著泛化能力強且未單純依賴記憶。其次，模型產生的影像樣本在視覺品質及多樣性上遠超過訓練資料，證明擴散模型在大量資料支持下真實捕捉分布特徵。

針對去噪函數的頻譜特性分析，發現它們呈現出明顯的幾何調適振盪結構，這與基於圖像幾何所建構的調和基底高度吻合。實驗包括自然圖像、合成流形類及其他圖像類別，結果皆顯示模型偏好此特定基底形式。

在理論已知最優正則化基底的合成資料上，訓練的擴散模型達到近乎可證明最優的去噪性能，並可用該基底解析其輸出，有力支持作者提出的理論架構。這些實驗全面地佐證了訓練過程中深度網路內隱含幾何自適應 harmonic 基底填充了建立高維數據密度模型的關鍵角色。

對 AI 領域的深遠影響

本論文突破性地將「幾何與調和分析」的觀念引入生成模型，對於理解深度擴散模型如何跨越維度詛咒，達成良好泛化提供了新視角。其核心發現──擴散模型透過幾何自適應的諧波基底完成數據結構的隱式建模──不僅深化了對模型 inductive bias 的理解，也為未來設計更有效率及可解釋性的生成網路指明方向。

此外，這項研究強調了數據內在的幾何和諧波結構在神經網路學習過程中的重要性，促進多模態數據的幾何分析理論與深度學習架構的融合。對於無監督學習、高維數據表示、影像生成和去噪等多重任務皆具啟發意義，未來可望推動結合具體數學結構與神經網路的跨領域研究與應用。

綜觀來看，Kadkhodaie 等人提出的理論與實證成果不僅提升了我們對擴散模型泛化性質的科學認識，也為 AI 生成模型領域從經驗驅動逐步邁向理論基礎奠定了里程碑式的基石。這是擴散模型與深度生成模型研究向更健全、可解釋方向的重要推進，值得 AI 研究者與實務工程師深入研讀與借鑑。

---

論文資訊
📄 Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations
👥 Kadkhodaie, Guth, Simoncelli, Mallat
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.02557