Riemannian Score-Based Generative Modelling 深度解析

隨著生成模型領域的快速發展，特別是擁有卓越表現的分數基生成模型（Score-based Generative Models, SGMs），如何將這些技術推展到更廣泛且具有複雜結構的資料空間成為研究熱點。2022 年 NeurIPS 會議中，De Bortoli 等人的論文《Riemannian Score-Based Generative Modelling》榮獲傑出論文獎，該研究突破性地將 SGMs 擴展至具有彎曲幾何結構的黎曼流形（Riemannian manifold），開創生成模型在非歐幾里得空間的新典範。本文將從研究背景與動機、核心方法與創新、主要實驗結果與應用以及對 AI 領域的影響四個面向，進行深入解析。

研究背景與動機

分數基生成模型利用「分數函數」（score function，即資料分布的對數機率密度函數梯度）結合隨機微分方程（SDE）實現資料的有效合成。傳統的 SGMs 大多假設生成的資料位於歐幾里得空間，亦即具備平坦幾何結構的向量空間，這種設定在影像、語音等主流應用中表現優異。然而，許多現實世界的資料，自然存在於具有非平坦結構的黎曼流形上，例如機器人手臂的旋轉空間（特殊正交群 SO(3)）、地球科學中的球面數據、蛋白質摺疊構型空間等。

在這些場景下，資料分布的內在空間具有彎曲且帶有內建度量的幾何性質，直接套用歐幾里得假設的生成模型，往往導致生成結果品質不理想，甚至模型無法收斂。此一挑戰促使研究者開發能尊重黎曼流形結構的生成模型，以期捕捉複雜幾何下的資料分布規律，擴展創造力和推理能力。

核心方法與創新

De Bortoli 等人提出的 Riemannian Score-based Generative Models（RSGMs），即是一套將 SGMs 概念推廣到黎曼流形的框架。其核心思想包括：

• 以黎曼流形上的擴散過程替代標準歐幾里得空間的加性高斯噪音擴散： SGMs 透過在歐幾里得空間中向資料添加高斯噪聲，以逐步「破壞」資料分布，再利用訓練的分數函數進行逆向降噪重建。RSGMs 則將這一過程改寫為在黎曼流形上運行的擴散過程，遵循該流形的度量張量和Christoffel符號定義隨機微分方程，確保噪音添加與降噪過程皆尊重幾何結構。
• 黎曼流形上的分數函數估計： 為了估計資料分布的分數函數（score），RSGMs 利用流形上的概率密度函數梯度，並利用流形上的內積和微分算子定義相應損失函數，從而採用降噪分數匹配（denoising score matching）方法，在帶有幾何先驗的環境中訓練神經網絡。
• 逆向擴散的數值求解與樣本生成： 利用受限於黎曼幾何的隨機微分方程，RSGMs 設計特殊數值方法，進行時間反演的擴散過程，最終從流形上的純噪聲分布重建高質量的資料樣本。

此方法理論上可適用於任意黎曼流形，不需將流形展平或透過嵌入空間近似，從根本上解決了非歐幾里得生成建模的核心問題。

主要實驗結果

學者們在多個黎曼流形的數據集上驗證了 RSGMs 的有效性，聚焦於典型且具代表性的應用場景：

• 球面數據生成： 以地球與氣候科學領域的球面分布為實驗對象，RSGMs 不僅成功生成高質量的球面方向性資料，還展現出在地理資訊系統（GIS）和氣候模型中可利用的潛力。
• 圓環與特殊正交群 SO(3)： 模擬旋轉群空間中資料分布（例如機器人手臂的姿態），RSGMs 在重建旋轉分布上優於傳統模型，解決了歐式方法因角度邊界和拓撲限制產生的失誤。
• 蛋白質摺疊構型空間： 雖非直接在該論文實驗中深入探討，但方法的結構可推廣至此類高度非線性且彎曲的幾何體，顯示出廣泛應用前景。

整體來說，實驗結果驗證了在多種典型黎曼流形上，RSGMs 不但能有效捕捉資料複雜分布，還在生成過程中保持數學與物理上的合理性，超越了現有歐幾里得空間的生成模型表現。

對 AI 領域的深遠影響

此篇論文的貢獻，不僅在學術層面推動機器學習與概率生成模型朝向幾何理解深造，更深層地影響到以下幾方面：

1. 拓展生成模型的應用範疇： 過去生成模型多侷限於平坦空間，無法合理處理諸如球面、旋轉群、和高度非線性流形結構的資料。RSGMs 提供了一個理論嚴謹且可行的生成方案，使得生成模型可以服務於機器人、自動駕駛中姿態估計、地球科學中環境模擬及蛋白質結構預測等高端應用。
2. 結合幾何學與深度學習的範式轉移： RSGMs 將黎曼幾何的數學工具與深度學習的方法論緊密融合，開啟了面向非歐氏空間的機器學習新潮流，推動未來研究往多樣複雜數據結構建模發展。
3. 促進可解釋性及物理一致性生成： 透過保留與流形內在幾何一致的特徵，生成模型的結果不僅精準且更貼近物理規律，對於要求高可信度和解釋性的應用場景（如醫療、生物資訊）尤為重要。

總結來說，De Bortoli 等人提出的 Riemannian Score-Based Generative Modelling 是將深度生成模型應用推向新高度的重要里程碑，彰顯了結合先進數學理論與機器學習技術的強大潛能，也為後續研究者開拓了廣闊的創新領域。

對於具備基礎 AI 知識的工程師與研究生而言，深入理解 RSGMs 不僅能增進對生成模型本質的洞察，亦能掌握如何將先進的幾何概念導入實際建模，提升在非歐幾里得空間資料處理與生成的競爭力。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763