Riemannian Score-Based Generative Modelling 深度解析

隨著生成式模型的快速發展，分數基生成模型（Score-based Generative Models, SGM）因其優異的生成效果與理論嚴謹性，逐漸成為研究熱點。De Bortoli 等人在 2022 年 NeurIPS 發表的傑出論文《Riemannian Score-Based Generative Modelling》突破了傳統 SGM 僅適用平坦歐氏空間的限制，提出在黎曼流形（Riemannian manifold）上構建分數基生成模型的新框架，極大拓展生成模型的應用範疇，特別是對於需要考慮複雜曲率結構的領域如機器人學、地球科學與蛋白質摺疊等領域，具有深遠意義。

研究背景與動機

傳統的分數基生成模型架構基於一個核心原理：透過一個向資料中逐步加入高斯噪聲的「擾動過程（noising process）」，並學習在每個時間點的分數函數（score function，資料分布的對數密度梯度），最後利用反向擾動過程恢復原始數據分布。這種方法在圖像、語音等多種歐氏空間（Euclidean space）數據生成任務中取得了顯著成效。

然而，在很多實際應用中，數據天然存在於非平坦的流形空間中。例如，地球氣象數據多分布於球面流形；蛋白質的三維結構則嵌入在一組複雜的流形中；甚至機器人在控制和導航時會考慮到旋轉群等特殊流形。因此，若不考慮流形幾何結構而直接應用標準 SGMs，將導致模型不得不在錯誤的空間假設下學習，從而影響生成效果與物理合理性。

鑑於此，作者動機在於建立一套理論嚴密且實用的框架，讓分數基生成模型得以自然地適配於黎曼流形幾何結構，彌補現有方法在流形數據生成上的空白。

核心方法與創新

本論文的核心貢獻在於提出「黎曼分數基生成模型（Riemannian Score-based Generative Models, RSGMs）」。此模型在理論上整合了黎曼流形上的擾動與反擾動過程，並設計適用於流形空間的分數函數學習與采樣演算法。

• 擾動過程的擴展：作者將擾動過程定義為在黎曼流形上服從聯結布朗運動（Riemannian Brownian motion）或其它擴散過程，其動力學反映流形的幾何結構。相較於歐氏空間中的線性加性噪聲，流形上的擾動需通過伊藤微分幾何工具精確描述和模擬。
• 分數函數估計：在黎曼流形上，分數函數不再是普通梯度，而是考慮黎曼度量下的梯度（即黎曼梯度）。作者設計了基於擾動樣本的分數匹配損失函數，使得模型能精準估計流形中「log-密度」的黎曼梯度。
• 反向擾動與采樣：生成過程通過近似擾動過程的時間反轉達成。同時，作者提出了在流形空間中實現反向擾動的數值方法，保證生成軌跡尊重流形幾何，從而生成符合流形先驗分布的新樣本。

方法的理論基礎結合了擴散過程的時間反演理論與黎曼幾何中的隨機分析，展現出高度的數學嚴謹性。此外，模型設計兼顧實用性，能在多種流形上靈活適用，這是對既有 SGM 框架的重要推進與擴充。

主要實驗結果

為驗證方法的有效性，作者在多種具有典型幾何結構的流形數據集上進行實驗：

• 球面流形數據：以地球和氣候監測數據為例，資料天然分布於球面上。實驗結果顯示，RSGM 能夠成功捕捉球面數據的幾何結構，生成的樣本質量和多樣性優於直接在歐氏空間中擾動的基準模型。
• 合成黎曼流形：作者也在具有已知黎曼結構的合成數據集（如旋轉群 SO(3)、雙曲空間等）進行測試，結果中 RSGM 不僅展示了優異的生成能力，且能完美處理流形特有的非線性與拓撲約束。
• 定量評估：使用利用最大平均差異（MMD）等指標，實驗顯示 RSGM 在數據擬合上明顯勝出傳統 SGM，特別是在維持流形幾何一致性方面表現突出。

以上實驗證明了該方法不僅理論上可行，且具有良好的泛化能力和實際應用價值。

對 AI 領域的深遠影響

本論文在生成模型領域具有多層面影響：

1. 理論突破：傳統分數基生成模型限制於平坦歐氏空間，RSGM 以黎曼幾何框架有效擴展了學習與生成的空間範圍，為後續研究提供了堅實的數學基礎與方法論指引。
2. 跨領域應用擴展：自然科學中許多數據的流形結構長期未被主流生成模型妥善處理。RSGM 將催生更多針對複雜流形數據的生成式 AI 解決方案，促進 AI 技術在地球科學、蛋白質折疊、機器人導航等領域的深度應用。
3. 啟發相關研究：論文所引入的黎曼布朗運動與流形分數學習思想，將推動隨機過程、流形學習與生成模型的更緊密結合。未來可能衍生出更多針對非線性空間的深度生成模型。
4. 實踐價值：透過合理建模流形幾何，RSGM 不僅提升生成樣本的真實性與物理合理性，同時減少模型誤差，有助於開發更安全、可靠的 AI 系統。

綜上所述，《Riemannian Score-Based Generative Modelling》為生成模型研究注入了新的視野與方法，揭示了結合幾何信息與擾動概率模型的巨大潛力，是近年生成模型領域的重要里程碑之一。對於有志於深耕生成模型及流形學習的研究者與工程師，深入理解此論文的理論和實踐方案，將大幅提升其掌握生成技術的深度與廣度。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763