Riemannian Score-Based Generative Modelling 深度簡介

在生成模型領域中，分布建模一直是核心挑戰之一。特別是近年來，基於「分數函數（score function）」的生成模型透過學習數據分布的梯度資訊，展現了優異的生成品質和理論基礎。傳統上，這類方法大多聚焦於歐氏空間上的資料建模，忽略現實中很多資料本身其實自然存在於非歐氏幾何結構的空間中，例如球面、流形（manifold）等。因此，如何將分數基生成模型推廣至更複雜的黎曼流形上，不僅是理論上的挑戰，更是實務應用的迫切需求。

De Bortoli 等人在 NeurIPS 2022 發表的 「Riemannian Score-Based Generative Modelling」 一文中，成功構建了一套框架，將基於分數的生成建模方法原生地延展到黎曼流形結構上。該論文獲得了當屆會議的 Outstanding Paper 獎項，代表其研究成果在方法論、理論嚴謹性與應用潛力三方面皆獲得頂尖肯定，對生成模型和幾何機器學習領域帶來了重要突破。

研究背景與動機

生成模型如 GAN、變分自編碼器（VAE）與擴散模型等，成功解決了高維資料的生成問題。分數基生成模型（Score-Based Generative Modelling, SGMs）利用數據分布的梯度（分數函數）來構造隨機微分方程（SDE）或邊值問題以實現樣本生成，憑藉其理論解析性與穩定性，成為近年熱門研究方向。然而，當資料本身存在於非歐氏結構——例如分子結構嵌入於流形、社交網絡節點的度量空間、天文數據處理中的球面資料等——傳統歐氏設定的生成模型難以直接套用，往往忽略空間隱含的幾何結構，導致生成結果不夠自然或精確。

黎曼流形提供一個天然的框架處理這類問題，它能夠描述局部類歐氏空間但整體具備彎曲形狀的幾何空間。如何將分數基模型與黎曼流形上的擴散過程融合，既要沿用分數估計的核心理念，也必須克服黎曼流形上隨機分析與微分方程的特殊數學難題，這是本論文的核心動機。

核心方法與創新

作者提出了一套完整的黎曼流形上分數基生成模型，並做出關鍵理論推導與演算法設計，主要創新可分為以下幾點：

1. 黎曼流形上的隨機微分方程（SDE）建模： 普通分數基模型多以歐氏空間的布朗運動和歐式SDE為基礎，本論文有效將SDE定義和求解推廣到黎曼流形上。該方法利用黎曼指標（metric）與聯絡結構，正確刻畫流形上的擴散運動，保證生成過程在流形上有效且穩定。
2. 黎曼分數函數的估計： 分數函數代表目標分布的對數密度梯度。在流形空間中，該梯度需以黎曼流形上的聯絡微分（covariant derivative）重新定義。作者設計基於 Riemannian Score Matching 的學習策略，利用無監督損失函數直接估計分數函數，並且兼顧數值穩定性與計算效率。
3. 推導逆向過程及樣本生成演算法： 針對流形上的SDE，作者推導了相對應的逆向擴散過程，提出基於黎曼流形的隨機微分方程求解策略來完成樣本生成。此方法保持了原本分數基模型在終極標準下能保證生成樣本漸近真實分布的理論特性。
4. 數學嚴謹性與理論貢獻： 論文提供完整的理論分析，包括存在唯一解、弱解性質、樣本近似誤差界等，確保方法在嚴格的黎曼幾何框架下機理清晰且具有數學嚴謹度。

主要實驗結果

作者以多個具有複雜幾何結構的資料集驗證方法效能，實驗涵蓋了球面、超球面、斯坦福線性群（特定流形結構）等高維數據：

• 在合成資料上的球面分布生成中，該方法可逼近目標分布且保持數據的幾何特性，明顯優於忽略幾何約束的歐氏分數基模型。
• 在真實範例，如氣象資料（呈現流形結構）或分析非歐式網絡數據時，生成樣本展示更自然與連貫的數據形態，且模型泛化能力優異。
• 與主流的擴散模型及流形生成模型進行比較，本文方法在生成樣本質量、多樣性及訓練穩定性方面表現均衡，尤以結合幾何先驗的樣本精度提升效果突出。

實驗中亦詳細驗證了分數估計的準確度、隨機微分解算器的數值穩定性，並展示了模型在不同黎曼流形結構上的可轉換性與擴展性。

對 AI 領域的深遠影響

本論文的貢獻不僅在於推動生成模型在非歐氏空間上的技術發展，更在於以下幾方面深刻影響人工智慧研究：

• 擴展生成模型的適用範圍： 隨著非歐氏資料日益廣泛（如醫學影像、結構化分子數據、物理系統模擬），本方法打破了傳統歐氏空間限制，為這些領域提供了強有力的生成工具。
• 揭示幾何機器學習與生成建模的融合方向： 本文將深度學習中的生成建模與黎曼幾何理論結合，促使跨領域結合成為可能，開啟更多幾何感知的 AI 應用研究。
• 理論與實務兼備的示範效應： 提供一套嚴謹數學基礎之上可實際運作的生成模型範式，提升了生成模型理論的廣泛應用價值，促進未來基於流形的擴散模型研究和應用。
• 潛在驅動新興領域： 如量子資訊、結構生物學、交通網絡分析等領域中，數據往往分布於複雜幾何空間。透過黎曼流形上的分數基方法，使得生成模型能更準確捕捉這些領域的資料結構與內涵。

總體而言，Riemannian Score-Based Generative Modelling 從理論創新、方法設計到實驗驗證皆展現了人工智慧在結合嚴謹數學結構與實用生成任務上的最新高度。對於有志於深度生成模型與幾何學習交叉研究的工程師與學者，本論文不僅是寶貴的理論與實踐參考，更啟啟發未來在更多複雜資料空間的 AI 建模挑戰中邁出關鍵一步。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763