Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations

在近年來生成模型領域中，以擴散模型（Diffusion Models）為基礎的圖像生成技術因其生成高品質影像的強大能力，成為研究熱點。這些模型透過逐步去噪的逆擴散過程，能夠從簡單的高斯噪聲逐漸恢復出細節豐富且視覺上真實的圖像。然而，一方面這些模型似乎成功克服了維度詛咒（Curse of Dimensionality），另一方面卻也有研究指出它們可能存在記憶訓練集（memorization）的問題，即模型可能只是「背誦」了訓練資料而非真正學習資料的連續分布。此疑問帶動研究者深入探討：這類深度神經網路訓練的擴散模型究竟是在學習什麼？它們為何能夠泛化，生成與訓練集不同的新影像？

本篇由 Kadkhodaie、Guth、Simoncelli 與 Mallat 等人發表於 ICLR 2024 並獲得 Outstanding Paper 獎項的論文《Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations》即聚焦此關鍵問題，透過理論分析與大量實驗，揭示了擴散模型泛化能力背後的深層結構：模型內部學習到的去噪函數本質上是一種根據影像幾何適應的諧波（harmonic）基底展開上的縮減（shrinkage）運算。

研究背景與動機

擴散模型的成功表面上似乎違反了高維密度建模的常理，因為直覺上在高維空間中估計數據分布極具挑戰。典型高維生成模型往往面臨訓練樣本不足而無法泛化的風險。另一方面，過去也有研究發現，在資料有限時，深度去噪網絡會傾向「記憶」訓練資料，導致生成的影像可能只不過是原圖的微小變體，難以稱為真正意義上的泛化。

因此，本研究旨在探究：在訓練樣本數量足夠大的情況下，深度去噪網絡是否真能學到數據的真實連續分布（data density），還是依然局限於記憶；且在泛化時，這些模型內部隱含了哪些結構，能促使它們生成出與訓練集顯著不同而高質量的樣本？對這些問題的回答，將幫助我們更深入理解擴散模型的運作機制與泛化本質，進而指引未來更有效且穩健的生成模型設計。

核心方法與創新

本論文的核心貢獻在於系統性地揭示並證明了深度去噪網絡內部學習的函數可被解釋為一種「 geometry-adaptive harmonic representations 」，即依據影像局部幾何特徵（如邊緣輪廓及同質區域）自適應調整的諧波基底。在這些基底上，去噪操作表現為對諧波係數的縮減（shrinkage），類似於數學或訊號處理領域中的稀疏表示概念，成功過濾噪音且保留重要結構。

• 非重疊子集擬合同一分布：作者在理論與實驗上展示，若用兩個無重疊的訓練子集分別訓練深度去噪網絡，當訓練樣本數夠多時，兩網路估計出的分數函數（score function）幾乎相同，即它們學習到了相同的資料密度，證明去噪網絡並非記憶訓練資料，而是學習隱含的連續目標分布。
• 幾何適應性諧波基底分析：經由分析學到的去噪函數，作者發現這些函數在影像的不同區域對應不同諧波展開，且這些基底具有隨影像輪廓形成周期振盪結構的特性，能更有效地表達複雜的影像細節與紋理。
• 泛化能力結合低維流形理論：即使在非自然照片且支撐於低維度流形的圖像類別上訓練，網路仍顯現出對諧波基的偏好，顯示這種幾何自適應諧波基底並非侷限於自然影像，而是更普遍的誘導偏差（inductive bias）。
• 理論與近最優性能驗證：在已知最適基底為幾何適應諧波的常規圖像類別上，訓練所得的去噪性能接近理論最優，強化了模型誘導偏差與資料本質特徵高度契合的結論。

主要實驗結果

在大規模實驗中，作者分別從多個無重疊子集分別訓練模型，發現產生的分數函數重合度極高。透過可視化分析法，揭示網路內部權重與激活對「空間頻率 — 特別是局部影像結構對應的諧波基底成分」的調整。這展現了網路自動學習出一組能捕捉影像幾何特徵的調整基，既有利於噪音去除，也利於生成具有高度結構合理性的圖像。

此外，作者構建了理論上可計算最適基底的合成影像資料集，驗證訓練網路學到的基底與理論最適結果極為一致，且去噪誤差趨近最佳。這不僅提供了對深度擴散模型的理論支撐，同時也讓模型的泛化能力有了定量衡量的依據。

對 AI 領域的深遠影響

此篇論文在生成模型研究中提供了一個突破性的視角，從純理論與實驗角度展現擴散模型的泛化並非偶然，而是基於內部學習到的「幾何適應諧波基底」誘導偏差。這種偏差正好契合常見影像資料的內在幾何特徵，使模型能有效表達其連續的概率密度函數，超越了過去對於深度神經網路陷入「記憶陷阱」的擔憂。

學術上，此研究建立了生成模型學習過程中基於調整諧波基底的理論解析架構，為未來設計更具結構感知能力、泛化更強的生成模型奠定基石。實務應用層面，理解這層基礎機制可幫助工程師更有效調整模型架構與訓練流程，提升樣本效率與生成品質，並加強模型對於新型資料分布的適應能力。

在更廣泛的 AI 研究方向上，此論文也強調誘導偏差與資料幾何結構的重要性，呼應近期關於結構化表示學習、流形學習與頻域分析的研究走向。透過這樣的跨學科理解，我們可望將深度學習方法與傳統訊號處理理論更緊密結合，實現理論與實務高度融合的人工智慧技術。

總結來說，該篇傑出論文不僅解答了擴散模型泛化機制的關鍵問題，也指出未來生成模型研究的新方向，即挖掘與利用資料的幾何與頻域性質，打造更具解釋性與效能兼備的深度學習模型。

---

論文資訊
📄 Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations
👥 Kadkhodaie, Guth, Simoncelli, Mallat
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.02557