Riemannian Score-Based Generative Modelling

在近年生成模型的快速發展中，Score-based Generative Models（SGMs，即基於分數函數的生成模型）憑藉其出色的生成效能與理論基礎獲得高度關注。傳統的 SGMs 主要聚焦於歐氏空間（Euclidean space）上的資料建模，利用隨機微分方程（SDE）將數據逐步加入高斯噪聲，再透過學習資料在不同時間點的「分數函數」（score function，即資料對數概率密度的梯度）來逼近其逆向擴散過程，實現高品質的樣本生成。然而，現實世界中許多重要的應用場景，如機器人學、地球科學、蛋白質結構建模等，其資料分佈往往天然存在於黎曼流形（Riemannian manifold）上，這類流形的幾何結構非平坦，歐氏模型難以直接適用。針對此限制，De Bortoli 等人在 NeurIPS 2022 發表的「Riemannian Score-Based Generative Modelling」論文提出了一種全新的框架——黎曼基礎的分數生成模型（Riemannian Score-based Generative Models, RSGMs），不僅拓展了 SGM 的理論邊界，同時實現了在多種非歐氏流形上的出色生成效果。

研究背景與動機

現代機器學習中，越來越多資料呈現複雜非線性結構，如球面資料、超球面資料、流形結構的高維資料等，這些都不符合傳統歐氏空間的假設。舉例來說，地球氣候數據以球面（Spherical manifold）表示，蛋白質結構涉及多維流形的構型空間，而機器人關節空間也是非歐氏流形。若直接以歐氏分布假設進行建模，會導致數據表示不自然、距離度量失真等問題，降低模型性能。雖然已有深度生成模型嘗試結合流形結構，但缺乏一個普適且嚴謹的生成流程將隨機擴散和分數估計嵌入黎曼流形之中。

基於此，作者團隊的主要動機是打造一套通用的黎曼流形生成模型框架，保有 SGM 強大的生成能力，又能自然而精確地認識與利用流形內在幾何，拓寬生成模型在物理科學與工程等領域的應用範圍。

核心方法與創新

論文從理論上首先將 SGM 的隨機微分方程（SDE）擴展到黎曼流形背景下。傳統 SGM 在歐氏空間中施行隨機擴散與逆向擴散以逼近資料分佈的逐步演化，而 RSGM 則構建流形上的擴散過程，利用黎曼流形中的連接（Levi-Civita connection）和布朗運動（Riemannian Brownian motion）理論，確保擴散過程與流形結構協調一致。

具體來說，作者提出以下三大技術突破：

• 黎曼擴散過程定義：在流形上定義隨機微分方程，借助流形的幾何結構明確描述資料如何被高斯噪聲擾動，同時保證受擾動資料仍在流形上，避免離開定義域的問題。
• 黎曼分數函數估計：不同於歐氏空間的梯度計算，作者透過黎曼幾何中的梯度與連接運算，設計可計算與學習流形上對應時間點的分數函數，實現對逆向流程的有效逼近。
• 基於 SDE 的逆向生成演算法：利用刻劃良好的逆向 SDE，在流形上完成由擾動分布還原到數據分布的生成過程，結合了深度神經網路（如流形上專門設計的捲積或圖神經網絡）來逼近分數函數，實現端到端的生成模型訓練與推斷。

此框架理論完善，嚴謹地將擴散過程與分數函數放入黎曼流形的數學結構中，並可容納不同黎曼流形如球面、超球面及其他結構的數據建模。

主要實驗結果

為驗證 RSGM 的效能，作者在多種具有代表性的數據集與流形結構上實施實驗。實驗重點包括：

• 球面數據生成：針對地球與氣候科學中典型的球面數據，RSGM 不僅成功復現數據分佈，更在生成質量與數據多樣性上超越了簡單歐氏近似的方法。
• 非歐氏數據集對比：在多維超球面及其他黎曼流形結構上測試，RSGM 展示其跨流形的廣泛適用性，且在近似真實數據分佈及生成真實感圖樣上，均具備明顯優勢。
• 定量指標評估：透過適用於流形數據的分佈距離測度（如球面 Wasserstein 距離），RSGM 在所有測試項目均展現出穩定且優於競品模型的成績。

這些實驗充分說明 RSGM 不僅理論上合理，在實務問題中亦具備可行性與競爭力，成功拓展了 Score-based Generative Modelling 的應用邊界。

對 AI 領域的深遠影響

「Riemannian Score-Based Generative Modelling」的提出，標誌著生成模型研究的一次重要躍進，將生成模型從平坦的歐氏空間成功推展至更為複雜且貼近自然現象的黎曼流形空間：

1. 理論層面：深入結合隨機分析、黎曼幾何與機器學習，豐富了生成模型的數學基礎。許多傳統生成模型無法處理的流形數據，得以理論與方法論雙重支持。
2. 實務應用擴展：對於氣象預報、地理資訊系統、蛋白質構象生成、機器人姿態控制等問題，RSGM 提供了一套符合幾何先驗的強大模型，有助於提升這些領域資料建模的準確性與生成質量。
3. 推動後續研究：該論文激發了後續關於流形上生成模型結構設計、訓練穩定性、加速推理等議題的研究熱潮，促進跨學科的合作，像是結合幾何深度學習與生成對抗網絡等方向。

總而言之，RSGM 不僅突破了現有生成模型的疆界，也為 AI 在科學計算、物理建模及工程設計等需兼顧複雜幾何結構的問題上，提供了嶄新且有力的工具。對於研究者與工程師而言，理解並進一步擴展此框架，將有助於推動更多基於流形結構的深度生成技術及其應用。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763