Riemannian Score-Based Generative Modelling 深度解析

在生成模型領域，隨著深度學習和無監督學習技術的迅速發展，Score-based Generative Models（SGMs）因其在影像生成、語言建模等任務中表現優異，成為近年研究的熱點。SGM透過對數據分布的 score function（即 log 機率密度函數的梯度）的估計，結合漸進性加入噪聲（noising）與去噪（denoising）過程，成功實現了高質量且多樣性的數據生成。然而，現有的 SGM 主要假設數據分布在平坦的歐幾里德空間中，對於存在非平坦幾何結構的資料，特別是生活於黎曼流形（Riemannian manifold）上的資料，這樣的假設顯得不夠有效。

本篇由De Bortoli等人發表於NeurIPS 2022，並獲頒Outstanding Paper獎項的論文《Riemannian Score-Based Generative Modelling》正是針對上述限制提出突破性解決方案。本文創新地將傳統的SGM框架推廣至黎曼流形，使得生成模型能夠自然且嚴謹地處理在彎曲空間中的資料，這對於机器人定位、地球科學資料分析、蛋白質形狀建模等多個領域有著深遠的應用價值。

研究背景與動機

傳統的SGM工作主要面對的是矢量空間（Euclidean space），該空間的座標系具備全域平坦幾何性質，透過簡單的高斯擾動（Gaussian noise）→時間反轉→逆擾動等步驟完成資料的模擬與重建。然而，實務中許多資料並非自然分布在平坦空間，而是存在於如球面（sphere）、特定曲面、或更複雜的非歐幾里德流形，這種資料空間具有局部曲率與複雜拓撲結構，傳統方法無法直接套用，或即使套用也會導致誤差累積，影響生成品質與效能。

而黎曼流形上的幾何結構提供了測量曲線長度、角度等工具，使得從數學上更精確定義噪聲施加和逆過程的機率流動成為可能。研究如何定義與估計黎曼流形的 score function，建立一套適合流形的擾動—逆擾動機制，是推進生成模型在實際非歐幾里德數據上的重要挑戰，這正是本篇論文的出發點。

核心方法與創新

作者提出的核心貢獻是「Riemannian Score-based Generative Models (RSGMs)」框架，將score-based generative modeling的理論和演算法從歐幾里得空間拓展到任意黎曼流形。

• 適應黎曼流形的隨機微分方程（SDE）建模：傳統SGM將擾動過程（diffusion）建模為歐幾里德空間內的結構化SDE，而RSGM則利用黎曼流形上的伊藤隨機微分方程（Ito SDE）或Stratonovich SDE，考慮流形曲率與聯絡（connection）等幾何資訊，來描述數據的漸進擾動。
• 黎曼流形上的Score函數估計：本文從數據的概率密度函數對流形上的log密度函數計算梯度作為score，而梯度定義基於黎曼度量，利用黎曼幾何的梯度算子確保所學得的score函數符合曲面結構。
• 針對流形計算的去噪過程：經由黎曼流形上的時間反轉SDE，RSGM精確模擬數據恢復過程，該過程在曲面中保留必要的幾何資訊，避免因錯置的歐幾里德假設所導致的樣本偏差與不自然。
• 演算法實現細節：論文設計兼具數值穩定性及效率的近似解法，並介紹如何利用流形上的指數映射（exponential map）與對數映射（log map）來實作模型訓練與生成，架構兼容多種常見流形，包括球面、旋轉群SO(3)等。

主要實驗結果

為驗證方法效能，作者在多種典型黎曼流形及應用場景中實施實驗：

• 球面資料生成：在地球科學與氣候建模常用的球面數據集上，RSGM成功學習球面分布，生成的樣本「無縫」符合球面幾何，且重現了資料的空間特徵，表現明顯優於將數據錯當作平面處理的SGM。
• 應用於機器人姿態估計：透過在黎曼流形SO(3)上建模，RSGM可用於生成旋轉數據，這是機器人與3D視覺任務中常見的數據型態，證明其對於多樣且複雜流形分布建模的普適性。
• 量化比較與消融實驗：論文中也提供了嚴謹的對比實驗，顯示引入黎曼幾何結構後，模型在得分函數估計誤差、生成樣本多樣性與恢復準確性方面均有顯著提升。此外，消融研究分析了不同幾何元件（如連接與度量）在模型內的重要性。

對 AI 領域的深遠影響

本論文的貢獻不僅是拓展了一類尖端生成模型的理論及演算法，更從根本上突破了多數生成模型只適用於歐幾里得空間的限制。隨著AI應用場景越來越多元，尤其在科學計算、機器人學、生物資訊、天文地球科學等需要處理非線性流形資料的領域中，Riemannian Score-based Generative Models為研究人員提供了強而有力的工具與理論基礎。

此外，該方法的成功亦啟發後續多樣研究方向，例如將深度學習模型與幾何結構深度融合、研究更多形態的幾何數據生成、自動化幾何結構學習等。RSGMs可助力研發更多符合自然物理及結構限制的生成模型，進而提升AI系統在真實世界中的通用性與可信度。

總結來說，《Riemannian Score-Based Generative Modelling》透過將score-based generative modeling理論邁入黎曼幾何領域，不僅體現了前沿理論與實務的完美結合，也在生成模型研究中開闢了一條全新的路徑，為未來高維且非平坦數據的生成技術奠定了堅實基礎。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763