Riemannian Score-Based Generative Modelling 深度簡介

在生成模型（Generative Models）的研究領域中，近年來「Score-based Generative Models」（SGMs，基於分數函數的生成模型）已展現出卓越的表現，成為一種強而有力的生成方式。SGMs 的核心思路是藉由將資料逐漸加上隨機噪聲，並透過學習對應去噪分數函數（score function，即資料分布的對數概率梯度）來模擬資料的反向擴散過程，成功生成複雜的高維資料分布。儘管如此，現有的 SGMs 大多假設資料掛載於平坦的歐幾里得空間（Euclidean space），這樣的假設限制了其在具有非平坦幾何結構的資料空間上的應用。

一、研究背景與動機

在許多實際應用中，數據往往屬於帶有內在曲率和拓撲結構的流形（manifold）空間。例如，機器人學中機械手臂的關節角度可視為定義在特殊的李群（Lie groups）上的資料，地球與氣候科學中觀測資料天然分布於球面（spherical manifold），而蛋白質摺疊結構的角度參數則存在於非歐幾里得的流形空間。這些空間具備黎曼幾何（Riemannian geometry）的特性，曲率不為零，距離與梯度的計算皆不同於平坦的歐幾里得空間。

然而，傳統的基於分數的生成模型在這種帶曲率的流形資料上無法直接套用，因為擴散與去噪過程的數學基礎（如布朗運動、擴散微分方程）及分數函數定義均基於歐幾里得空間的假設。因此，如何將 SGMs 理論及演算法延伸至黎曼流形上，成為跨領域且極具挑戰性的問題，不僅對理論深度有要求，對應用層面亦具重大意義。

二、核心方法與創新

這篇論文「Riemannian Score-Based Generative Modelling」由 De Bortoli 等人發表於 NeurIPS 2022，提出了開創性的 Riemannian Score-Based Generative Models（簡稱 RSGMs）。他們的主要貢獻可分為以下幾點：

1. 黎曼流形上的擴散過程建模：作者使用了由雅各比矩陣、黎曼指數映射（exponential map）和對數映射（log map）來定義的布朗運動與隨機微分方程（SDE）在黎曼流形上的對應，精確刻畫在曲率非零的流形上如何逐漸加噪。這使得擴散過程尊重空間固有幾何結構，避免因運用歐幾何工具而產生偏差。

2. 黎曼分數函數的估計與引導采樣：基於流形上的分數函數，以對應的傅立葉理論與梯度定義推導了在流形的擴散逆過程中，如何估計分數函數。作者設計了一種基於神經網絡的分數估計器，並結合反向擴散模擬，實現了從給定的初始噪聲流形資料生成目標流形資料的機制。

3. 數值方法與離散化策略：由於流形上的 SDE 解無解析解，作者提出合理且計算上可行的離散演算法進行模擬，確保生成過程中數值穩定性及速度。此策略涵蓋了黎曼流形上的采樣與梯度計算，兼顧理論嚴謹與實務可用性。

值得一提的是，該方法呈現了對任意黎曼流形的通用性框架，理論性與實作層面的推廣性均十分出色，此為過去方法所無法實現之突破。

三、主要實驗結果

論文中作者在多種流形上驗證了 RSGMs，包括標準球面（S^2）、特殊正交群 SO(3)等，並將其應用於實際的地球與氣候科學球面資料生成任務。實驗結果高度證實了以下幾點：

• 在地球科學資料模擬上，他們成功地合成了具有真實地理環境統計性質的數據點，生成資料分布的品質與多樣性均優於基線技術。
• 在球面流形上，生成樣本保持了良好的流形結構及拓撲特徵，避免了禁止的歐幾里得扭曲或不合理分布。
• 在多維流形結構的定量評估中，RSGMs 提供了更低的負對數似然（NLL）與更高的生成多樣性，標明其推理生成效能的提升。

此外，作者的實驗方案涵蓋大量隨機擴散過程的模擬及反向過程的無偏估計，編碼細節完整、模擬結果可重複，反映方法兼具創新與穩定。

四、對 AI 領域的深遠影響

本論文提出的 Riemannian Score-Based Generative Modelling 不僅推動了生成模型研究從歐幾何向非平坦幾何的跨越，更於下列層面帶來深遠影響：

1. 理論層面：首次系統性整合黎曼幾何與擴散生成模型框架，將隨機微分方程與分數估計嚴格地置入流形上，擴展了生成模型理論範疇。這預示了未來研究可探索更多複雜幾何結構下的生成模型及其數理基礎。
2. 應用層面：許多科學領域（如地球科學、計算機視覺中360°影像、航空航天中的剛體運動參數、生命科學中的蛋白質結構模擬）均涉及黎曼流形資料，RSGMs 為此類複雜資料帶來更自然且準確的生成及模擬手段，有望大幅提升模擬逼真度與下游任務效率。
3. 方法論創新：提出通用性強並兼具數值穩定的演算法設計，促使後續研究能輕易在多樣流形結構上訂製專屬生成模型，推動相關工具和庫的開發。
4. 跨學科橋樑：結合幾何學、機率論與深度學習，促使不同背景的研究社群協同合作，推動 AI 在幾何資料科學、物理模擬、醫療影像乃至智慧城市等領域的應用落地。

總結而言，這篇獲得 NeurIPS Outstanding Paper 的論文因為突破性地將 Score-Based Generative Models 援引至黎曼流形，解決了多數實際應用中資料空間非歐幾里得特性的挑戰，為生成模型研究開啟了嶄新的研究方向與應用前景。對擁有基礎 AI 與微分幾何知識的工程師和研究生而言，深入學習與理解此篇論文，將有助於掌握生成模型前沿技術和跨領域融合的關鍵思維，並激發未來類似突破的靈感與創新。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763