Riemannian Score-Based Generative Modelling 深度介紹

隨著深度生成模型的快速發展，Score-based generative models（SGMs，分數基生成模型）因其卓越的生成品質與穩定訓練特性，近年來成為研究熱點。SGMs 基於「擾動-還原」的思想，先透過加入高斯噪聲模擬數據分布的擾動過程，再通過學習逆向（時間反轉）擾動的「得分函數」（score function，即數據邊際對數密度的梯度）實現高品質的生成。然而，這一經典框架均假設數據分布於歐氏空間（flat, Euclidean geometry），這限制了其應用範圍。

在許多現實場景中，數據自然存在於具曲率的流形上，例如機器人學的配置空間、地球科學的球面數據及生物分子結構等，這些場景下的數據伴隨非平坦的幾何結構，直接套用歐氏得分模型往往效果不佳，甚至不可行。為此，De Bortoli 等人在 2022 年 NeurIPS 發表的論文《Riemannian Score-Based Generative Modelling》提出了 Riemannian Score-based Generative Models（RSGMs），將 SGMs 理論成功延伸至一般 Riemannian 流形，開啟了跨幾何結構的分數基生成新視野。

一、研究背景與動機

傳統 SGMs 經典方法中，透過隨機微分方程（SDE）將資料從原始分布推擠至標準高斯分布，隨後利用時間反轉 SDE 結合估計得分函數的神經網絡進行反向生成。這一流程的理論基礎與實驗驗證均落於歐氏空間假設下。歐氏空間中平直的幾何結構使得噪聲擾動以簡單且明確的方式定義，而得分函數因為可直接梯度計算，訓練與生成流程保持順暢。

然而，在像是地球數據（球面 S^2）、方向性資料（SO(3) 群）或高維流形情形下，數據本身隱含的 Riemannian 結構使得噪聲模型必須尊重該流形的曲率，且噪聲及逆向過程不再能用歐氏空間的標準方式建模。現有方法如果忽略此結構，往往導致生成結果偏差大、無法精準捕捉數據內在的幾何特徵，這對應用場景如氣候模擬、蛋白質摺疊甚至機器人運動規劃，均有極大影響。

二、核心方法與創新

本論文核心貢獻在於完整將分數基生成模型框架嚴謹地延展至 Riemannian 流形。同時，作者提出了嚴謹的數學表示與演算法方案，主要創新點包含：

• Riemannian 擾動擴散過程：基於 Riemannian 流形上的布朗運動（Brownian motion）定義擾動過程，取代歐氏空間中的線性 Wiener 過程。此過程透過流形上的 Laplace–Beltrami 算子導出相應擾動 SDE，保證生成噪聲過程在流形上合法且合理。
• 時間反轉生成機制：根據流形擾動SDE，導出其時間反轉版本的 SDE，形成生成模型動態，此為理論上逆向擾動的正確表述。時間反轉 SDE 中融合了得分函數（得自流形數據概率密度的 Riemannian 梯度），是成功生成的關鍵。
• 估計與參數化 Riemannian 得分函數：作者設計了基於流形座標的神經網絡架構來學習得分函數，並提出針對流形幾何的梯度計算方法，使得模型能準確捕捉流形數據分布的局部與全局特徵。
• 實現與數值方法：為了有效解決 Riemannian SDE 並實作時間反轉方案，論文提出數值積分方法支援復雜流形上的隨機過程模擬，展現了從理論到實踐的完整鏈條。

簡言之，該論文全面且深入地將 SGMs 理論植入 Riemannian 流形，打破分數基生成模型只侷限於歐氏框架的限制，奠定未來流形上生成模型的理論基礎與技術標準。

三、主要實驗結果

為驗證模型普適性及實用性，作者在多個具代表性流形數據集展開實驗：

• 球面資料（S^2）：針對地球科學中常見的地理位置與氣候資料，實驗以球面生成模型學習流量與天氣分布。RSGM 成功捕捉出局部及全球氣候變異特徵，生成樣本在視覺與統計指標上均顯著優於基於歐氏假設的生成模型。
• 旋轉群 SO(3)：機器人學與結構生物學中常見三維旋轉表示，RSGM 能準確生成合理且遵循群結構的旋轉矩陣，證明模型對非線性李群的適應能力。
• 合成數據流形：藉由在典型的曲率流形（例如流形環面、超球面）上生成分布，展示廣泛適用性與良好生成質量，並與其他生成基線方法對比，展現RSGM優越表現。

整體實驗結果不僅驗證了理論推導的正確性，也突顯出 RSGM 在流形生成任務中的實際效能與潛力，尤其在自然科學與工程領域的具體應用中具體量化效果。

四、對 AI 領域的深遠影響

本論文將流行且高效的分數基生成模型成功推廣到 Riemannian 幾何背景，可說是生成模型理論與應用上的一次重要躍進。其深遠意義包括：

• 拓展生成模型應用範圍：數據不再限於平坦空間，許多實際任務涉及的流形結構得到理論支持，尤其是氣象模擬、蛋白質結構預測、機器人控制等領域將直接受益，促進 AI 技術跨學科深化應用。
• 豐富機器學習與幾何結合的理論體系：該工作彰顯了幾何分析在深度生成模型中的核心地位，推動未來基於流形結構的概率模型、深度學習算法等方向的研究熱潮。
• 創新數值與神經網絡設計思路：該研究提倡尊重數據原始幾何，開創針對非平坦空間的神經網絡結構設計與數值求解方案，將引領未來基於結構感知的 AI 模型開發。
• 促進多領域跨界交流：氣候學、地球科學、生物信息學等傳統領域透過 RSGM 可以更好地利用 AI 工具，反之 AI 研究者亦從這些應用中獲得靈感，形成良性互動。

綜合而言，De Bortoli 等人提出的 Riemannian Score-Based Generative Modelling 不僅刷新了生成模型理論框架，也為 AI 實踐帶來具體且深刻的變革，成為 AI 領域融合幾何與深度生成的里程碑式成果，值得工程師與研究生深入研讀、借鑑應用。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763