Riemannian Score-Based Generative Modelling 深度解讀

隨著生成模型（Generative Models）在機器學習領域的快速發展，特別是以擾動過程與分數函數（score function）為核心的「Score-Based Generative Models」（簡稱 SGM）憑藉其在圖像與語音生成上的卓越成效，成為目前生成模型研究的前沿方向。然而，現有主流的 SGM 假設數據分佈存在於歐式空間（Euclidean space）中，換句話說，數據的幾何結構是平直且簡單的。實際應用中，許多重要領域如機器人學（Robotics）、地球科學（Geoscience）、蛋白質結構建模（Protein Modelling）等，數據往往位於更複雜、具有彎曲結構的里曼流形（Riemannian manifold）上。此類空間的幾何特性迥異於平直空間，導致傳統 SGM 不適用或表現不佳。針對此一挑戰，De Bortoli 等人在 2022 年 NeurIPS 發表了題為《Riemannian Score-Based Generative Modelling》的論文，提出了 Riemannian SGM（RSGM），成功將分數基的生成建模技術拓展到一般里曼流形上，並榮獲當屆 Outstanding Paper 獎項。

研究背景與動機

生成模型的目標在於從數據中學習高維分佈的特徵，進而生成與原始數據分佈相似的新樣本。Score-Based Generative Modelling 是一種依靠學習數據分布的「log-score function」（即資料分布的對數密度函數的梯度）來實現生成的框架，透過一個「noising」擾動過程逐步添加噪聲，再藉由擬合與逆向擾動過程的分數函數來「denoising」生成樣本，該方法理論嚴謹且效果優異。目前的 SGM 幾乎都限定於歐式空間（例如圖像像素空間），因為歐式結構下的隨機微分方程（SDE）及其逆向時間動力學已得較為成熟的解法。

但實務中，數據經常不受限於平坦空間。例如地球科學中，氣候或地理數據自然映射在球面上；蛋白質的摺疊角度分布位於旋轉群等非平坦流形空間；機器人關節角度空間亦帶有流形結構。若忽略這些內在幾何特性，強行套用歐式生成模型，生成結果不僅理論上不精確，也在質量與多樣性上表現不佳。因此，開發一套兼具理論嚴謹性與實用性的 Riemannian Score-Based Generative Model 是十分迫切且具挑戰性的問題。

核心方法與創新點

論文的核心貢獻在於將 Score-Based Generative Modelling 理論與方法，嚴謹地建立於任意 Riemannian 流形之上。作者以尺規張量（Riemannian metric）和流形上的隨機微分方程（SDE）為基礎，構建了適用於Riemannian 流形的加噪聲擾動 (forward noising process)，並推導出該過程的逆向 SDE 形成數據生成模型。

方法技術細節包括：

• Riemannian 擾動過程建模：利用里曼流形上的布朗運動與隨機微分方程框架來定義forward diffusion，透過流形上的熱核（Heat kernel）作為噪聲分布的描述，進而對數據施加對應的加噪模擬過程。
• 分數函數擬合：在流形上定義和學習 score 函數，即數據分布的對數密度函數在該流形上的梯度。由於流形上不存在全局座標，作者巧妙利用了測地線 (geodesics) 與流形切空間的結構，使得 score 的估計與近似可行。
• 逆向擾動過程及生成：根據近似的分數函數，推導並數值解決逆向 SDE，生成器可逐步從複雜的高斯擾動分布反向「去噪」出目標流形上的樣本。
• 數值方法：為了在流形上實現上述 SDE 求解，作者設計了適配 Riemannian 幾何的數值積分技術，同時保證生成過程符合流形約束。

以上工作突破了現有 SGM 必須限定於歐式空間的框架，允許在更廣泛、更複雜的空間中尤為重要的生成任務被有效完成。

主要實驗結果

為驗證理論與方法的有效性，作者在多個具代表性的流形數據集上進行實驗：

• 球面數據生成：在氣候科學與地球資料的球面球面數據上，RSGM 展示出較傳統歐式 SGM 更精準的數據分布擬合能力與生成樣本品質，能捕捉球面上的複雜分佈結構。
• 其他流形實驗：包含旋轉群SO(3)及流形結構更複雜的資料上，模型成功實現樣本生成，並且在數據分佈逼近與多樣性上優於基線方法。
• 數值穩定性與效率：實驗中表明所設計的數值整合方法不僅保持理論預期的流形完整性，在實際計算上也具有可接受的運算成本。

整體而言，這套方法的成功展示了分數基生成模型在非平坦流形上的適應性，並且突破了傳統生成方法在此類空間的限制。

對 AI 領域的深遠影響

《Riemannian Score-Based Generative Modelling》一文在 AI 研究社群中引起廣泛關注，其影響力可從以下幾個面向理解：

1. 理論創新：本論文嚴謹地將生成模型與差分幾何結合，為高維流形上密度估計與生成問題提供了新的理論基石，促使生成模型研究突破歐氏空間的限制。
2. 多領域跨界應用：許多應用領域的數據本質上具備流形結構，RSGM 技術使得機器人軟體控制、蛋白質結構設計、氣象與地球科學數據分析等領域均有望受益，提升模型表現與應用可行性。
3. 生成模型的泛化能力提升：開啟了針對非歐式空間生成模型的研究新方向，未來可望與圖神經網路、流形學習等技術深度融合，促進統計學習、未結構化數據建模方法的發展。
4. 推動隨機微分方程數值方法創新：處理流形上隨機過程數值解的需求，也促成相關數值積分法的發展，可應用於更多需要考慮幾何約束的隨機系統中。

綜上，該篇論文不僅解決了理論上的核心挑戰，還切實推動了多領域生成模型技術的進步。對於有意探討生成模型在非歐式空間應用的研究人員而言，這篇作品提供了不可或缺的理論方法與實證基礎。未來隨著 RSGM 理論與技術的深入發展，我們可望見證更多突破性應用與創新。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763