Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations

隨著生成式模型的蓬勃發展，擴散模型（Diffusion Models）憑藉其在圖像生成上的卓越表現，已成為當前最受矚目的技術之一。這類模型結合了深度神經網路（DNN）與基於隨機過程的逆向擴散演算法，成功在多個圖像生成任務中產生高品質、逼真的樣本。然而，儘管擴散模型在眾多應用上展現了「類似逃離維度詛咒」的能力，其內部機制與泛化本質仍然存在許多尚未解開的謎題。特別是在近年來部分報告指出模型可能透過記憶訓練資料來達成生成效果的同時，引發了一個核心疑問：這些深度網絡是否真正學習到了資料的連續分布（continuous density），還是僅僅是在重現已見過的圖像？

研究背景與動機

此篇於 ICLR 2024 榮獲傑出論文獎的研究，來自 Kadkhodaie、Guth、Simoncelli 與 Mallat 等領軍學者團隊，聚焦於探索擴散模型泛化能力背後的數學結構與深度學習模型的 inductive bias（歸納偏誤）。他們關注的重要問題是：當模型在龐大的資料集（乃至非重疊子集）上訓練，是否會學習到接近真實分布的「分數函數」（score function），從而保證生成樣本的多樣性與新穎性？

透過這個問題的探討，他們希望揭露深度模型如何利用資料本身的幾何結構，並且建立一套可解釋的數學框架，說明神經網絡在面對高維資料時，如何克服維度災難並有效泛化。

核心方法與創新

本論文的關鍵創新點在於揭示經過訓練的去噪神經網絡實際上在某種內部基底（basis）上進行了一種「壓縮」（shrinkage）操作，而這組基底是高度「幾何適應性」（geometry-adaptive）且呈現「諧波（harmonic）」結構的。也就是說，模型學得的去噪函數並非隨機或黑盒運算，而是能夠用特定空間幾何特徵主導的諧波函數精確描述。這套諧波基底沿著圖像中的輪廓以及均勻區域中，都展現出不同形式的振盪行為，極為貼合圖像的內容和結構。

作者使用雙重實驗設計，訓練兩個深度網路分別使用資料集的非重疊子集，結果顯示，隨著訓練資料數量增大，兩者學得的分數函數極為接近，證明模型具有強泛化能力。他們不僅將此發現擴展到自然圖片，同時進行了低維流形（manifold）支持的合成影像類別分析。在這些不同場景下，模型總是偏向於學習這組幾何適應的諧波基底，顯示這種結構既是理論上的最優解，也是真實學習過程中自然浮現的歸納偏誤。

此外，作者將其發現與傳統的最佳基底理論結合，展示在已知最佳基底為幾何適應型諧波的經典形象類別中，訓練的網絡去噪效能接近最佳，有力說明模型的內部機制及其泛化優勢。

主要實驗結果

實驗結果分為幾個重要面向：

• 泛化驗證：兩個使用非重疊子集訓練的深度去噪網絡，其學得的分數函數高度一致，表示模型學到的是真正的資料連續分布，而非簡單的記憶複製。
• 生成品質：在大量訓練資料下，擴散生成的影像不僅與訓練資料明顯不同，且視覺品質高，無明顯重複或過擬合跡象。
• 基底分析：透過數學工具解析訓練好的去噪函數，觀察到基底呈現沿著影像幾何輪廓的諧波振盪結構，這些結構在邊緣與均質區域均有呈現，且該基底無論在自然影像或低維流形影像均能復現。
• 去噪性能對比：在已知最佳基底（geometry-adaptive harmonic basis）的場景中，訓練的去噪網絡展現接近理論最優的去噪效果，說明學習過程成功挖掘並運用這種數學基底。

對 AI 領域的深遠影響

本研究於 AI 及深度生成模型領域具有多方面的意義與貢獻：

1. 深度模型泛化能力的理論支撐：該論文證明在足夠資料量條件下，擴散模型的深度網絡確實能學習到真實資料分布的分數函數，從理論層面支持了擴散模型逼近數據連續密度的能力，提升了對模型泛化特性的信心。
2. 歸納偏誤的新視角：透過與幾何適應諧波基底的連結，本文闡述了深度網絡學習的內在偏誤不只是「黑盒」，而是一種與資料底層幾何結構緊密耦合的數學構造，有助於未來設計出更有效、可解釋的模型架構。
3. 打破維度詛咒的啟示：本研究揭示模型之所以能在高維數據上成功泛化，部分原因來自利用了影像的低維幾何結構及其諧波表示，為未來高維資料處理與生成模型建構提供了理論基礎與實用指引。
4. 結合數學與深度學習的典範：藉由結合 harmonic analysis（諧波分析）與現代深度模型方法，展示了跨領域理論工具如何促進對複雜 AI 模型行為的理解，推動了可解釋 AI 研究的深入發展。

總結而言，Kadkhodaie 等人透過深入數學解析和嚴謹實驗，揭示了擴散模型泛化背後的本質機制——geometry-adaptive harmonic representations，不只是解答了模型是否真正學習真實分布的疑問，更為未來高效能且具有理論依據的深度生成模型研究奠定了堅實基石。對於從事生成模型、圖像去噪及理論深度學習的工程師與研究生而言，本文不僅具備高度啟發性，更是理解複雜模型泛化與設計更優模型架構的重要參考。

---

論文資訊
📄 Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations
👥 Kadkhodaie, Guth, Simoncelli, Mallat
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.02557