Riemannian Score-Based Generative Modelling 深度簡介

生成模型（Generative Models）一直是人工智慧領域中極為重要且活躍的研究方向，尤其是在圖像生成、語音合成以及科學數據建模上展現出卓越的能力。近年來，基於分數函數（score function）的生成模型（Score-Based Generative Models, SGMs）因其幾乎能生成高解析度且真實外觀的資料，而成為熱門研究主題。這類模型透過在資料空間中逐步加噪（noising）及逆向去噪（denoising）的機制，學習資料分佈的分數函數以進行新資料合成。不過，現存的SGMs多數假設資料分布在歐氏空間（Euclidean space）中，亦即資料隱含的流形具有平坦的幾何特性，這在多數實際應用中是有其限制的。

研究背景與動機

在許多重要的應用領域，如機器人學（robotics）、地球科學（geoscience）及蛋白質結構模擬（protein modelling），資料往往自然地分佈於具有曲率的非歐氏空間，即黎曼流形（Riemannian manifolds）。黎曼流形是一種攜帶曲率的多維空間，描述更複雜的幾何結構，傳統基於歐氏空間的分數生成模型難以直接應用於此類資料。而直接忽略資料所在的流形結構，會導致模型生成的結果在理論與實際上都失去意義。針對這個挑戰，本論文由 De Bortoli 等人提出了一種創新的「黎曼分數生成模型（Riemannian Score-Based Generative Models, RSGMs）」，以擴展傳統SGMs至黎曼流形上，使得我們可以高效且理論合理地對非歐氏資料進行生成建模。

核心方法與創新

本論文的核心在於將傳統的擴散過程（diffusion process）延伸到黎曼流形上，並對時間反向的去噪過程進行精確定義。傳統的SGM中心思想是利用隨機微分方程（Stochastic Differential Equation, SDE）來描述資料加噪的前向過程，再根據斯托克斯定理與Ito微積分原理，近似其時逆過程從噪聲生成資料。在歐氏空間中，加噪通常以常態分布（Gaussian）進行，而反向過程則由學習分數函數（數據分布對數密度的梯度）估計完成。

本研究的創新之處在於：

• 黎曼擴散過程的定義：作者利用黎曼流形上的布朗運動（Brownian motion）和流形的幾何結構，嚴謹地定義了能夠將資料逐步擾動至均勻分布（或已知簡單分布）的擴散過程。此過程融合了流形的度量張量與連接，確保隨機過程在流形上合理演化。
• 分數函數估計與反向動力學：透過黎曼流形上的梯度運算和測度調整，論文提出了估計資料分數函數的有效方法。這一點非常關鍵，因為黎曼梯度不同於歐氏空間梯度，需要將局部切空間（tangent space）上的資訊映射回整個流形。
• 數值求解策略：考慮到在非歐氏流形上實際的模擬挑戰，包括曲率的影響及幾何約束，作者設計了適合黎曼流形特性的SDE數值模擬方法，確保擴散和反向過程的穩定性與可計算性。

綜合以上，RSGM 提供了一個完整且統一的生成模型框架，能夠在保留流形內在幾何特徵的同時，有效地學習數據分布並生成高品質樣本。

主要實驗結果

作者在多種典型的黎曼流形上進行了實驗來驗證 RSGM 的有效性，包括球面（sphere）、特殊正交群（SO(3)）的旋轉矩陣流形，以及更高維複雜流形。實驗重點包括：

• 在球面上的地球和氣候資料建模：實際氣象年報資料以球面坐標表示，傳統SGM無法直接建模，RSGM則能生成與原始資料分布高度匹配的結果，展示了強大的適應能力。
• 與歐氏空間SGM比較：在流形結構明顯影響生成結果的場景中，RSGM顯著優於忽略流形幾何的方案，不僅生成資料的質量更高，數據分佈的幾何一致性也大幅提升。
• 學習曲率和流形幾何的能力：實驗顯示RSGM能夠捕捉流形的曲率變化，避免生成無效或不自然的數據點，這是對傳統SGM的關鍵突破。

這些實驗結果證明RSGM具有廣泛的適用性及潛在的實務價值，尤其在需要嚴格尊重資料固有幾何結構的科學問題中尤為關鍵。

對 AI 領域的深遠影響

此論文的出現代表了生成模型領域的一大突破，尤其是在將深度學習技術與幾何數學結合的交叉領域中。對 AI 研究和實務應用具有以下重要意義：

1. 擴展生成模型適用範圍：通過考慮黎曼幾何，生成模型可被用於更多非歐氏資料，如旋轉數據、球面信號、量子狀態空間等，極大拓展了生成模型的應用場景。
2. 促進跨學科融合：方法中融合了機率論、微分幾何與深度學習，為未來結合更複雜數學工具於 AI 提供範例，加速跨領域創新。
3. 推動科學數據建模與模擬：如氣象學、分子生物學等領域中資料多屬非歐氏流形分布，RSGM改善了這類數據的模擬與生成精度，助力科研進展及數據增強技術發展。
4. 啟發後續研究方向：未來有機會將RSGM骨幹擴展至其他複雜流形（如奇異流形）、多模態生成與控制生成過程，甚至結合強化學習開發新型策略。

總結來說，De Bortoli 等人提出的 Riemannian Score-Based Generative Models 以其精妙且數學嚴謹的模型架構，大幅拓展了生成模型的理論深度與實際應用範圍，展現了生成模型發展的新境界。這篇論文獲選為 NeurIPS 2022 的 Outstanding Paper，不僅因為其技術創新，更因其為AI生成模型注入了全新視角與無限可能，對於後續學術研究與產業應用均有深遠影響。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763