Riemannian Score-Based Generative Modelling 深度解析

在近年生成模型（Generative Models）的研究中，基於分數函數（score-based）的生成模型以其極佳的生成效果和靈活的理論架構成為研究熱點。Score-Based Generative Models（SGMs）透過將資料逐步加入高斯噪聲（noising），再利用擬合這一擴散過程的逆過程（denoising）實現高質量數據合成。然而，現有主流的SGMs大多建立在歐式空間假設下，即數據分布位於平坦的歐式流形上。現實世界中，許多重要的應用領域如機器人學、地球科學及蛋白質結構建模等，數據往往存在於具有非平坦曲率的黎曼流形（Riemannian manifolds）上，這使得傳統SGMs難以直接應用。針對這一挑戰，De Bortoli等人在NeurIPS 2022提出了突破性的研究《Riemannian Score-Based Generative Modelling》（RSGM），并榮獲Outstanding Paper獎項。

研究背景與動機

生成模型目標在於學習真實數據的概率分布，從而能夠生成高品質且多樣化的數據樣本。Score-based generative modelling框架基於隨機微分方程（SDE）將數據逐漸添加噪聲的同時學習數據分布的「分數函數」（score function，即對數概率密度的梯度），再通過時間反轉SDE完成樣本生成。這種方法因為對高維數據的強大表達能力，已在圖像、語音生成等領域取得卓越成果。然而，所有這些理論與算法都假設資料空間為平坦歐式空間，對於自然形成的非線性流形空間，尤其是曲率非零的黎曼流形，現有方法直接套用將導致理論和計算的嚴重錯誤。

舉例來說，地球表面上的氣候資料本質上分布於球面這種具有正曲率的黎曼流形；蛋白質的主鏈幾何結構則受限於特殊流形結構；機器人運動學配置空間通常也是流形。對這些情境開發能夠靈活處理流形幾何的生成模型是刻不容緩的科學和工程問題。

核心方法與技術創新

本論文的主要貢獻在於將score-based generative modelling擴展至任意黎曼流形，形成所謂的Riemannian Score-Based Generative Models（RSGMs）。核心技術創新體現在以下幾點：

1. 黎曼流形上的擴散過程建模：作者推導出在黎曼流形上添加「噪聲」的擴散過程的正確形式，該過程利用黎曼幾何的工具如連接和測地線，來定義一組SDE，保證噪聲擴增符合流形結構。這避免了直接在歐式空間套用噪聲引入的空間錯配問題。
2. 分數函數的估計與反演：基於Fisher信息和慢變量分析，提出在黎曼流形上以得體的測地距離和對數密度梯度定義分數函數的方法，並設計用於訓練神經網絡進行分數函數近似的損失函數及優化策略。
3. 時間反演SDE於流形上的導出與數值解法：重點克服了黎曼流形上SDE逆轉模擬的技術困難。結合伊藤微積分在流形上的理論，設計出有效數值解法和抽樣流程，能在複雜的流形幾何中成功反演噪聲過程。
4. 廣泛流形適用性：方法不依賴於特定類型的黎曼流形，既可應用於帶正曲率的球面，也可擴展到更複雜的流形結構，呈現良好的普適性與理論嚴謹性。

主要實驗結果

為驗證RSGM的有效性，作者在多個經典黎曼流形的生成任務中進行實證評測：

• 球面資料生成：針對地球及氣候數據（如全球氣象觀測數據）、合成球面分布數據，展示RSGM能精確模擬真實分布並生成具有正確幾何結構的樣本。生成樣本在平均測地距離、切向量場復原等指標上均優於基於歐式SGM的比較基準。
• 更一般黎曼流形的合成實驗：在特殊流形如旋轉群SO(3)上，驗證RSGM亦能學習數據分布，成功生成符合群結構的幾何變換樣本。
• 推動地球科學與蛋白質建模應用：展望期刊中展示，利用RSGM可對球面等非歐空間中複雜的氣候模式及蛋白質構象分布進行生成式建模，展現其在跨學科問題上的巨大潛力。

對 AI 領域的深遠影響

這篇論文將score-based generative model的強大能力成功引入黎曼流形領域，是生成模型研究的一次重大飛躍，對AI以及相關領域產生了深遠的影響：

1. 拓展了生成模型的概念邊界：打破了生成模型對數據空間結構的限制，大幅提升了生成模型處理非歐式數據的能力。這對於如蛋白質結構預測、量子物理、天文數據分析等多種科學領域的生成式學習，開啟了新可能。
2. 推動流形機器學習的理論與算法融合：將微分幾何與生成對抗網路及擴散模型深度結合，演示了跨領域理論創新的價值，將成為未來流形上深度學習的基礎技術。
3. 促進AI應用的多模態與複雜結構數據分析：隨著越來越多真實世界數據呈現流形結構，這類方法能更自然處理數據結構，改善模型的泛化能力及生成結果的物理可信度，提升AI在醫療、氣候模擬、機器人導航等領域的應用效率。
4. 激發後續研究方向：本研究為後續在黎曼空間上的表示學習、生成模型訓練穩定性、以及拓撲復雜流形建模等方向提供理論與算法範本，預示著生成模型從歐式視角走向流形視角的未來趨勢。

總結來說，Riemannian Score-Based Generative Modelling這篇論文，通過嚴謹的流形擴散理論與創新的反演抽樣方法，開啟了score-based生成模型在黎曼流形上的新篇章。這不僅滿足了科學與工程領域對於複雜非線性數據建模的迫切需求，也為生成模型的理論體系與應用前沿帶來重大突破。對於有志於推動生成模型理論及其多領域實踐的工程師與研究者而言，掌握此文提供的方法論和實驗技巧，將是開展未來相關研究與應用的關鍵基石。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763