Riemannian Score-Based Generative Modelling

在生成模型領域，隨著深度學習技術的蓬勃發展，score-based generative models（基於分數函數的生成模型）因其在圖像合成、去噪與資料生成等任務的卓越表現，成為近年研究的重要方向之一。然而，多數此類模型多基於歐式空間構建，對於資料呈現於曲率非零的流形（Riemannian manifolds）上的問題，仍缺乏完整且有效的理論與方法。De Bortoli 等人於 NeurIPS 2022 發表的論文《Riemannian Score-Based Generative Modelling》針對這一挑戰提出了創新性解決方案，成功將 score-based model 推展至一般的黎曼流形結構，並獲得 NeurIPS 大會的 Outstanding Paper 獎項，彰顯其研究價值與影響力。

研究背景與動機

傳統的生成模型如 VAE、GAN 及近期崛起的基於反覆擴散過程的 score-based generative models，多半假設數據分布存在於歐式空間中。這種假設在許多應用上尚稱合理，但當資料天生存在於曲率不為零的流形上，例如球面資料、旋轉群（SO(3)）、特殊正交群等，歐式空間的模型架構便可能面臨理論不匹配與效能損失

。

考量到這一點，如何在黎曼流形上定義並有效學習資料的 score function（log 機率密度函數的梯度）成為亟待解決的問題。此問題的關鍵不僅在於流形的幾何結構差異，還涉及如何設計對稱且保幾何特性的擴散過程，以及如何在流形上進行反向生成過程的採樣。

核心方法與創新

論文中的核心貢獻在於提出了一系列理論與算法框架，將 score-based generative modelling 完整地推廣至黎曼流形。

• 擴散過程的流形化定義：作者採用黎曼流形上的隨機微分方程（SDE）框架，利用布朗運動（Brownian motion）及確定性漂移項推導可逆的前向擴散過程。此過程在流形上的演化保有良好的幾何特性，藉此在流形上定義自然且合理的雜訊擴散操作。
• 黎曼流形上的Score函數估計：由於無法直接取歐式梯度，作者將 score function 的概念在流形上透過 Levi-Civita connection（黎曼流形的無扭連接）來定義，實現對機率密度 log 梯度的流形版本估計。透過神經網路近似這些流形梯度，模型能捕捉資料在流形幾何上的潛在結構。
• 反向擴散過程的數值方法：反向採樣過程需要在流形上穩定求解相應的反向 SDE，論文提出基於幾何優化與確定性積分技術來求解樣本生成過程，兼具計算效率與理論保證。
• 理論分析與誤差界限：作者針對流形上的擴散模型，嚴謹證明其反向過程的存在性與唯一性，並分析了模型誤差隨時間演變的性質，為後續研究與應用奠定堅實理論基礎。

主要實驗結果

考量到流形資料的多樣性與複雜性，作者設計多組實驗來驗證方法的普適性與優越性：

• 在球面（S²）資料上的合成與生成實驗，如位於球面上的分佈抽樣。結果展示該模型能準確回復資料的分佈且生成樣本多樣且符合流形結構。
• 在旋轉群 SO(3) 與其他特殊緊群上的測試，進一步驗證此方法能處理更複雜的流形結構，並在數據生成品質與收斂速度上超越既有基於歐式假設的模型。
• 具體應用於語音、圖像與醫學影像等實際數據中，將資料透過流形嵌入，模型依然展現優秀的建模能力與生成品質。

整體來說，該方法在模型表現、數值穩定性及理論嚴謹性皆達到了頂尖水準，為 score-based generative modelling 在非歐式空間的發展樹立新標杆。

對 AI 領域的深遠影響

本論文的突破性成果，不僅擴展了生成模型的應用範圍，亦為未來探討資料固有幾何結構提供了強大工具。具體具體層面包括：

• 更廣泛的資料建模：許多實際資料（如蛋白質結構、三維姿態、天文資料等）本質上存在於黎曼流形空間，該工作使得生成模型能夠自然而然捕捉這類資料的複雜幾何特徵，提升生成的真實度與多樣性。
• 跨領域的理論連結：此研究不僅引入了黎曼幾何、隨機微分方程、統計學與深度學習的交叉方法論，促進跨領域的學術交流，並可能引導未來更多數學原理應用於 AI 模型設計。
• 推動穩健與可解釋性生成模型：通過嚴謹的幾何理論架構，模型具備更明確的數學意涵，有助於提升生成模型的穩健性和可解釋性，對人工智慧的安全性與可信任性具有正面影響。
• 促進生成模型的多樣化發展：此工作所設計的泛用方法亦將推動未來在其他非歐式空間（如圖結構空間、超球面等）上建立生成模型的研究，擴大 AI 在科學計算、物理建模等領域的應用潛力。

總結而言，De Bortoli 等人的《Riemannian Score-Based Generative Modelling》成功地將現代深度生成模型技術與嚴密的黎曼幾何理論結合，開創了非歐式生成模型的新紀元。對於有志於探討流形資料、非歐式幾何及生成模型交叉研究的工程師與研究生來說，該論文提供了一個高精尖且具實用價值的理論與算法薈萃，是現代 AI 生成模型發展不可或缺的重要參考。

---

論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763