在生成模型領域中，Score-based Generative Models（SGMs）以其優異的生成能力和理論基礎，成為近年來研究的熱門方向。SGM利用「擾動-反擾動」的思路，將數據逐漸加噪，並學習如何逆轉該過程以生成新樣本。然而，現有主流的SGM方法普遍假設數據位於歐幾里得（Euclidean）空間，也就是平坦的幾何空間中。這種假設在許多現實應用中並不成立，因為許多重要的數據類型天生就存在於非平坦的流形結構上，例如在機器人學、地球科學、蛋白質結構建模等領域，其數據天然呈現黎曼流形（Riemannian manifold）的幾何性質。
本文《Riemannian Score-Based Generative Modelling》由De Bortoli等人於NeurIPS 2022發表，榮獲Outstanding Paper獎，提出了一套全新的框架：Riemannian Score-based Generative Models（RSGMs），藉此將SGM從歐幾里得空間成功擴展到黎曼流形上。該研究不僅打破了傳統SGM只能處理「平坦」空間的限制，還提供了一套在一般黎曼流形上進行擾動與生成的系統性方法，助力生成模型在更廣複雜的幾何空間中的應用。
研究背景與動機
近年來，Score-based Generative Models（SGMs）得到學術界與產業界的廣泛關注。其基本原理是通過建立一個隨時間演化的擾動過程（通常為加性高斯噪音的擴散過程），逐步將數據訓練轉化為純噪音的形式，並藉由學習該過程的時間反向動態，實現從噪音回復到數據分布的生成過程。這種方法具備強大的理論保證與優良的生成效果，尤其在圖像、語音和文本生成領域取得了突破性進展。
然而，標準的SGM理論和實作均依賴於歐幾里得空間假設，也就是數據支持的空間是平坦的，且距離及微分結構較為簡單。這使得方法難以直接應用到具有非平坦幾何結構的數據上。實際上，許多重要的數據自然存在於黎曼流形上，例如地球定位數據（球面S2）、機器人關節角度（特殊正交群SO(3)）、蛋白質構象空間等等。這些流形具有曲率，且局部幾何形態複雜，簡單將流形嵌入高維歐幾里得空間往往無法保留良好的幾何結構，嚴重影響模型性能和生成品質。
因此，本研究的核心動機明確：解決如何將score-based生成模型推展至包含曲率與複雜幾何結構的黎曼流形，讓模型能正確捕捉流形上的機率結構，並從中生成具有流形結構的高質量樣本，拓展SGM技術的適用範圍與實際應用價值。
核心方法與技術創新
本論文的主要貢獻是提出一套完整的Riemannian Score-based Generative Models（RSGMs）框架，其關鍵創新點包括：
- 在黎曼流形上定義擾動擴散過程：傳統SGM利用的是歐幾里得空間中的加性高斯噪音擾動，而在黎曼流形上直接加高斯噪音會破壞流形結構。作者透過構建黎曼布朗運動（Riemannian Brownian motion）作為擾動過程，這是一種自然且幾何一致性的擾動方式。黎曼布朗運動保證在流形內部隨機「擴散」，符合流形的內在曲率與度量。
- 使用黎曼score函數與Fokker-Planck方程：SGM核心在於學習數據分布的score function，即數據分布的對數密度梯度。在黎曼流形上，score的定義需要配合流形的微分結構和度量，作者利用黎曼流形的梯度與擴散生成的偏微分方程，推導出對應的score-matching學習目標與逆向擴散過程。
- 重構時間反向的擾動動態：RSGM利用埃里亞-斯特拉頓-格拉斯曼（Eells-Sampson）類型的路徑重建方法，將時間逆轉的擾動過程模型化，實現從高噪音狀態往原始數據分布的連續生成過程，兼顧流形的幾何制約與生成效率。
- 通用性和靈活性：這套方法不僅適用於特定流形，而是對任意黎曼流形都有廣泛適用，借助於流形的指數映射（exponential map）與對數映射（log map）操作，讓模型能夠靈活處理不同流形的幾何差異。
主要實驗結果
為了驗證RSGM在多種黎曼流形數據上的效果，作者針對以下幾類經典且具代表性的流形問題進行了實驗：
- 球面資料生成：在地球與氣候科學領域中，很多數據分佈於球面（S2），例如全球氣溫分布、氣象數據等。作者展示RSGM能夠成功擬合並生成這類球面數據，生成樣本在球面上合理分布，且維持了真實數據的統計特性。
- 特殊正交群SO(3)上的擴散與生成：SO(3)表示三維旋轉群，是機器人運動學十分重要的空間。實驗顯示RSGM能夠在SO(3)流形上執行擾動與逆轉動作，有效復現複雜旋轉分布，實現機器人姿態或分子構型生成。
- 合成曲面與蛋白質構象建模：藉由在人造表面流形和蛋白質的構象空間上承認RSGM，進一步證明了方法對高維複雜流形的拓展能力。
評價指標方面，實驗不僅展示生成樣本在流形上的幾何一致性，也比較了與基線方法（歐幾里得基礎SGM、其他流形生成模型）的性能差異，結果顯示RSGM在保證幾何結構同時，生成品質和多樣性皆有卓越表現。
對 AI 領域的深遠影響
本論文的貢獻突破了生成模型在數據空間結構上的根本限制，為Score-based Generative Modelling與擴散模型在非歐幾里得空間的應用奠定了理論和方法基礎。這在以下幾個方面具有深遠意義：
- 拓展生成模型的應用範疇：透過將SGM引入黎曼流形，RSGM為地球科學（如全球氣象模擬）、機器人系統（機器人運動控制與規劃）、計算生物學（蛋白質結構採樣）等多領域提供了強大生成工具，助力復雜高維數據的分析與合成。
- 推動幾何深度學習的融合發展：RSGM融合了隨機微分幾何、擴散過程與生成模型技術，是幾何深度學習與機率生成模型的典範結合，促進了兩大研究方向的交叉突破，提供了研究者設計更多幾何結構敏感模型的理論依據與實踐範例。
- 提高模型解釋力與結構保真度：流形結構的保留使生成樣本更加符合真實世界物理與幾何規則，提高了生成結果的可靠性與可解釋性，對於安全關鍵或精密模擬領域極為重要。
- 開啟非平坦空間生成模型的新研究潮流：本研究激發了對其他非平坦幾何空間（如黎曼流形族、流形帶有奇異點的情況）的生成模型開發的興趣，未來將有望在更複雜的空間中推廣生成模型技術。
總結來說，《Riemannian Score-Based Generative Modelling》論文成功破解SGM只能處理歐幾里得空間的瓶頸，將score-based擴散生成模型推向了幾何結構更加多元與真實的世界。對於未來生成模型在科學與工程領域的應用，該研究均具有啟示性價值與實質助益，是值得深入閱讀與研究的前沿傑作。
論文資訊
📄 Riemannian Score-Based Generative Modelling
👥 De Bortoli, Mathieu, Hutchinson, Thornton, Teh, Doucet
🏆 NeurIPS 2022 · Outstanding Paper
🔗 arxiv.org/abs/2202.02763
沒有留言:
張貼留言