Riemannian Score-Based Generative Modelling 論文深度解析

在生成模型領域中，Score-Based Generative Models (簡稱 SGM) 近年因其在多種生成任務中的優異表現，成為熱門研究方向。SGM 透過學習數據分布的分數函數（score function，即對數概率密度的梯度），結合隨機微分方程（SDE）實現高品質的生成效果，進而在圖像、語音等多維度歐氏空間（Euclidean space）的生成任務中大放異彩。儘管如此，現有的 SGM 方法多假設資料分布存在於歐氏空間上的「平坦」流形，這在許多實際且重要的應用領域，如機器人學、地球科學、氣象學，以及蛋白質結構模擬等，自然數據其分布往往存在於更複雜的「曲率非零」Riemannian 流形上，這就大幅限制了傳統 SGM 的適用性與效果。

本論文由 De Bortoli 等人於 NeurIPS 2022 發表，並榮獲 Outstanding Paper 獎項，提出了一個突破性的框架：「Riemannian Score-Based Generative Models（RSGMs）」，成功將 SGM 理論拓展至 Riemannian 流形上，為處理擁有流形結構的數據生成奠定了堅實基礎。

研究背景與動機

在許多現實世界的數據中，數據點常分布於非線性的流形結構。例如，三維空間中物體表面的點雲數據、遙感儀器所收集的地球氣象球面資料，甚至蛋白質的骨架構形態，其數據點自然位於曲率不為零的流形上。傳統生成模型若忽略這些內在幾何結構，可能導致生成結果在概率建模及樣本質量上不理想。過去已有針對流形數據的生成方法，但在表達複雜多樣分布時往往力有未逮。

Score-based 模型憑藉其無監督學習方式，透過估計數據的分數函數來還原數據分布，提供了一個強而有力的生成框架，然而其理論架構幾乎以平坦歐氏空間作為基礎。鑑於此，作者團隊發現有必要透過融合 Riemannian 幾何與 SGM 聯手，將生成建模延伸到具備彎曲幾何結構的空間，從根本解決這類場景的建模困境。

核心方法與創新

本論文的主要貢獻在於提出一套完整的 Riemannian Score-Based Generative Modeling 理論與算法框架，關鍵點包括：

• 擴展隨機微分方程（SDE）與分數函數至 Riemannian 流形： 作者以Stochastic Differential Geometry 為基礎，定義了在曲率非零的 Riemannian 流形上給數據加噪（noising）過程對應的擴散過程。此過程不僅須考慮局部曲率對噪聲擴散的影響，還需處理反向時間的反擴散問題，這使得「denoising」過程需藉由流形上的分數函數來建模。
• Riemannian 分數函數估計： 傳統 SGM 利用歐氏空間的標準梯度操作計算分數函數，然而在流形上梯度須以 Levi-Civita 連接導數等方式定義。論文中採用在流形切空間（tangent space）上的梯度操作進行分數估計，保證理論的一致性和實作的可行性。
• 數值求解方案與框架實現： 針對反向擴散過程中，流形 SDE 需要數值解算，作者提出了相應的數值解法策略，並在多種流形幾何下（例如球面Ｓn、多面體等）驗證方法的穩定性與有效性。

整體而言，此方法不僅保持了傳統 SGM 理論的優勢（如模型通用性和生成質量高），更成功將其提升至兼容曲率與流形結構的更普適模型，這在技術上克服了多數先前生成模型無法直接適用於非歐氏空間的瓶頸。

主要實驗結果

作者團隊在多項具有不同流形結構的數據集上驗證 RSGM 的效能，實驗涵蓋：

• 球面資料生成： 以地球與氣候科學中重要的球面分布為例，進行數據生成任務。結果顯示 RSGM 在保持球面數據的固有幾何結構同時，成功生成高品質且多樣性豐富的樣本，顯著優於若直接套用歐氏 SGM 的基準方法。
• 其他多樣流形結構： 包括仿射不變流形及其它 Riemannian 流形數據，RSGM 皆能穩定訓練並生成合理樣本，顯示方法的強大泛化能力。

此外，論文也詳細分析了模型在不同曲率下的行為變化與數值穩定性，並與現有流形生成方法進行多面向比較，結果皆明確支持該方法在非歐氏流形生成問題上優越的理論與實務可行性。

對 AI 領域的深遠影響

此論文的創新突破不僅在於技術層面的增進，更為生成模型與流形幾何兩大領域建立了跨界橋樑，帶來多重深遠意義：

1. 拓展生成模型應用範圍： 過往生成模型主要針對歐氏空間數據設計，RSGM 打開了在醫療影像（如大腦皮層曲面）、蛋白質摺疊、機器人動作規劃與地球科學等具自然流形結構的資料生成大門。
2. 推動幾何機器學習的發展： 成功整合 Riemannian 幾何原理與深度生成模型，強化了幾何感知式學習方法，促使未來更多結合流形幾何與隨機過程的 AI 技術得以誕生。
3. 促進理論與實務的結合： 論文不僅有嚴謹數學基礎，也提供實作細節，使得後續研究者能在此架構上深入演化，促進理論框架與實務模型更新換代。
4. 啟發多學科合作： 如氣象學、蛋白質化學、機械工程等領域中自然存在流形數據，RSGM 為這些領域與人工智慧連結架設了新橋樑，將帶動跨領域的深度合作與創新。

總結來說，Riemannian Score-Based Generative Modelling 不僅成功克服了以往生成模型於曲率空間中無法正確表達資料分布的問題，其架構極大提升了流形數據生成的可行性與精準度，開創了生成模型研究的新方向。對於未來希望將深度生成模型應用於更廣泛非結構化數據的研究者而言，這篇論文提供了強而有力且具前瞻性的理論與工具支持，值得深入研讀與實作。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763