Riemannian Score-Based Generative Modelling 深度解析

在生成模型領域，隨著深度學習與無監督技術的進步，score-based generative models（SGMs）因其強大的生成能力與優異的實驗表現，而成為近年研究熱點。SGM 利用擾動過程（diffusion）將資料分布逐步「加噪」，然後再藉由時間反轉的「去噪」過程，重建原始資料。這種方法具有理論與實務上的雙重優勢，使其在圖像、語音合成等多樣任務中表現出色。然而，現有大多數 SGMs 假設數據存在於歐氏空間（Euclidean space）中，也就是平坦的空間幾何，這在實務中限制了其應用範圍。

然而，許多重要領域的資料其實自然存在於非平坦的多樣體──即黎曼流形（Riemannian manifolds）上，例如機器人學中機械臂關節角度的圓環、地球科學中的球面數據、蛋白質摺疊的構型空間等，這些空間具有曲率結構且非平坦，傳統 SGM 的歐氏加噪與去噪框架無法直接套用。此時若強行套用平坦空間假設，將導致生成過程不準確，甚至無法收斂，影響生成樣本的品質與多樣性。

針對上述挑戰，De Bortoli 等人在 NeurIPS 2022 發表的「Riemannian Score-Based Generative Modelling」提出了創新性的 Riemannian Score-Based Generative Models（RSGMs），將 SGMs 理論擴展至黎曼流形上，開創了一條在幾何複雜多樣體上進行高品質生成的新途徑。論文獲得 Outstanding Paper 獎，顯示其理論深度與實用價值兼備。

研究背景與動機

傳統的 SGMs 利用擴散過程（diffusion process）將資料逐步加上高斯噪聲，使資料分布逼近簡單的先驗分布（如高斯分布），隨後學習去噪過程的時間反轉，復原原始數據。該過程可以透過隨機微分方程（SDE）形式描述，且在歐氏空間中訓練與推理成熟且穩定。

然而，許多現實場景的數據自然存在於彎曲的幾何結構中，如：機器人手臂在旋轉群 SO(3) 上的配置、地球氣候資料存在於球面（S^2）上、分子構型在高維流形中。歐氏空間的噪聲模型與距離概念無法直接套用於這些場景，導致生成過程不再合法，生成結果也不具備流形結構的合理性。

因此，研究者期望將 SGMs 推廣至更廣泛的黎曼流形，保持生成模型的靈活性與準確度，並能捕捉平坦空間無法表達的幾何關聯。

核心方法與技術創新

本論文的核心貢獻是定義並實現了 RSGMs，其關鍵想法在於將擴散過程與時間反演的 SDE 框架搬到黎曼流形上。具體而言，研究團隊透過以下幾點達成技術突破：

1. 黎曼流形上的擴散過程建模：利用黎曼流形的幾何結構，定義了在流形上的布朗運動（Brownian motion）和隨機微分方程，實現漸進加噪過程。此過程與歐氏空間的高斯擴散相應，但在曲率存在時更為複雜且富有幾何意義。
2. 黎曼流形的分數函數（score function）估計：分數函數是生成模型去噪過程中的核心，代表資料分布的梯度場。作者利用流形上的梯度（Gradient）與連接（Connection）理論，將 score 函數定義和學習算法延伸到流形上，保證其與幾何結構相容。
3. 時間反轉擴散 SDE 的泛化：建立黎曼流形上的時間反向 SDE，實現「去噪」或由簡單先驗分布逆轉至複雜資料分布的生成過程。這是實施生成模型核心的步驟，保證生成的樣本能合理散布於原始流形上。
4. 數值實現與近似方法：在各種實用流形，如圓環（torus）、球面（sphere）、特殊正交群 SO(3) 等，作者設計了專門的數值離散策略，確保模型在實際計算時的穩定性與效率。

主要實驗結果與評估

作者在多個代表性流形上進行了全面的實驗，涵蓋合成數據和真實應用場景，顯示 RSGM 在捕捉流形資料結構上的卓越能力：

• 球面數據生成：在地球科學與氣候相關的球面資料集上，RSGM 能生成符合自然地理與氣候分佈樣本，顯著優於傳統歐氏 SGM 模型，且保持了球面固有的對稱性和均勻性。
• 機器人臂配置空間：在SO(3)等旋轉群上的實驗展現，模型能真實地模擬機械臂的分布，對機器人路徑規劃及模擬有重要應用。
• 合成流形任務：在標準任務中如高維流形上的樣本生成，展示了 RSGM 的穩定性與泛化能力，並與歐氏空間基準模型相比，在生成質量和多樣性上均有明顯提升。

整體實驗結果強調，RSGM 不僅是理論上的自然擴展，更在實務層面大幅提升了生成模型對非歐氏數據的適應力。

對 AI 領域的深遠影響

這篇論文在AI生成模型與幾何機器學習交叉領域有著重要的先驅意義，其深遠影響主要體現在：

• 拓展生成模型應用範圍：將 Score-based Generative Models 推向更高維度、非平坦幾何空間，使其能處理如蛋白質摺疊構型、生物數據分析、機器人學等多樣涉及黎曼幾何的關鍵應用領域，顯著擴寬了技術邊界。
• 理論與實務結合典範：推動機率擴散模型結合黎曼流形理論的融合，為未來在幾何空間上構築機器學習系統提供了堅實理論基礎與數值方法範式。
• 引領幾何深度學習新方向：論文使得流形上複雜幾何結構的機率建模與生成變得可行，將促進更多基於實際物理或生物先驗的深度學習框架開發，推動 AI 在科學、醫療、工程領域的跨界應用。
• 提高非歐數據理解與生成的精度：透過尊重幾何結構的生成流程，使得模型在生成樣本時更守規律、結構更自然，直接提升下游任務如數據增強、模擬仿真結果的有效性。

總結來說，De Bortoli 等人的 RSGM 不僅填補了 SGMs 在黎曼流形領域的理論空白，也實現了極具實用價值的架構創新，對生成模型發展與複雜數據的深度理解，具有里程碑式的推進作用。對具備基礎 AI 知識的工程師與研究生而言，深入掌握本論文方法，不僅能豐富對現代生成模型的認知框架，更能啟發如何將生成技術應用於更廣泛、更多元且結構複雜的數據空間，推動個人及研究團隊在前沿問題上的突破。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763