Score Matching with Missing Data

在機器學習領域中，分布學習（density estimation）是核心基礎任務之一，廣泛應用於資料生成、異常偵測、結構化資料建模等多項重要場景。其中，score matching作為一種巧妙避免顯式計算分布常數項（partition function）的參數估計方法，引起了學術界與工業界的高度重視。Score matching 不僅在能量基模型（Energy-based Models）、擴散過程（diffusion processes）等熱門研究方向中扮演關鍵角色，也被廣泛用於圖形模型（graphical models）的結構與參數學習。

然而，現實世界資料不可避免地常有遺失值（missing data），不論是由感測器故障、資料傳輸錯誤，或是資料收集過程中主觀選擇性缺失皆可能導致觀測資料不全。遺失資料嚴重影響模型學習的有效性與可靠性，但過去 score matching 文獻中卻較少針對缺失資料提出完善解決方案，導致此方法在真實複雜應用場景中受到限制。面對此一挑戰，Givens、Liu、Reeve 於 ICML 2025 上發表了他們獲獎論文「Score Matching with Missing Data」，提供理論嚴謹且實務靈活的方法，正式推動 score matching 與缺失資料問題的結合。

研究背景與動機

傳統 score matching 方法的核心是最小化模型分數函數（log-density 的梯度）與真實資料分數函數之間的差距。此方法避開了對未知正規化常數的計算，為高維資料建模帶來巨大便利。惟若資料中有部分維度被遮蔽，導致資料完整向量無法直接取得或估計，score matching 的梯度計算亦變得棘手。

缺失資料問題在多種應用中普遍存在，特別是高維資料時缺失模式複雜多變，如隨機缺失（MCAR）、依賴於觀測資料的缺失（MAR）甚至有偏難處理的缺失（MNAR）。這些因素使得直接將 score matching 套用於缺失資料顯得困難。此外，遺失模式經常在資料的任意子維度上發生，造成標準填補或忽略缺失的策略往往效果不佳。論文作者因此決定發展一套通用且靈活的 score matching 框架，有效整合缺失資料信息，並保持良好的理論保證與實務性能。

核心方法與創新

本文主要創新點在於提出兩種面對缺失資料情況下的 score matching 解法：

1. 重要性加權（Importance Weighting, IW）Score Matching：採用重要性采樣思想，將缺失資料造成的分布偏差透過權重調整加以補償。該方法可在有限樣本設定下，結合有限域（finite domain）的數學分析獲得明確有限樣本誤差界，理論保障其收斂性與穩定性。重要性加權特別適合資料維度適中、樣本較稀少的場景，因其權重調整能精確校正由缺失引入的分布差異。
2. 變分方法（Variational Approach）：針對高維、缺失模式複雜的場景，作者建構了一種以變分推斷為核心的框架，將缺失資料視為潛變量，透過引入變分分布近似其條件後驗，重新定義 score matching 損失函數。此方法兼具靈活性與擴展性，能有效處理高維多樣的缺失模式，適用於結構化資料如圖形模型的估計。

這兩種方法各有側重，且能互補不足。重要性加權在低維且數據稀缺時優勢明顯，變分方法在複雜高維設定下表現更佳。論文進一步展示了理論推導過程及具體算法實現細節，突顯了其嚴謹的數理基礎與實用價值。

主要實驗結果

作者從理論分析到實驗驗證皆做了全面展示：

• 在有限域的合成資料上，重要性加權方法展現出強大且穩定的性能，並且實驗結果與嚴格的有限樣本誤差界十分吻合。
• 針對高維真實世界資料與模擬資料中的圖形模型結構估計任務，變分方法顯著超越傳統忽略缺失資料的 score matching 與其他基線方法，能更準確地揭露潛在結構關係。
• 透過多種遺失模式測試，包括隨機與依賴資料的缺失，證明本文提出方法在多場景均展現出高度韌性與泛化能力。
• 實驗也對比了填補法（imputation）與缺失忽略法的弊端，強調直接整合缺失資料的建模優勢。

對 AI 領域的深遠影響

此篇論文的貢獻不僅在技術層面推進 score matching 理論與方法，更從實務角度為處理缺失資料問題提供了一套創新且實用的解決方案。鑒於缺失資料在各種資料密集型應用中無所不在，本文結果能顯著擴展 score matching 方法的應用邊界。

更具體而言，本文促使以下幾點長遠影響：

• 推動高效學習不完整資料的新範式：以往面對缺失資料，研究者多依賴資料填補或直接忽略，往往忽視了缺失資訊與資料分布的複雜交互關係。本文方法提供了無需完整資料的直接學習機制，提高了建模的魯棒性與準確率。
• 促進能量基模型與擴散模型在實務中的落地：這兩類模型因對分布特徵學習能力強，越來越受矚目。缺失資料擾動長期制約其應用普及，該論文突破了此限制，為下游系統如生成模型、異常偵測、醫療資料分析帶來新機遇。
• 擴展圖形模型與結構化學習方法論：高維複雜資料的缺失模式使得圖形模型學習困難重重。本文提出的變分框架，有助於進一步推動結構與因果關係建模在少樣本及不完整資料環境下的研究與應用。
• 樹立缺失資料問題下理論與實驗結合的典範：作者不僅著眼於實用性，也給出嚴格的理論保證，使得研究成果既有堅實數學基礎，亦具現實指導價值，為後續研究建立高標準。

綜合而言，《Score Matching with Missing Data》無疑為概率模型學習領域注入了重要活水，不僅填補了缺失資料與 score matching 交叉研究的空白，更在理論與實際應用中均證明了強大威力。對於希望深入研究分布學習、能量基模型或圖形模型且需面對不完整資料的工程師與學者，本論文可視為必讀之作，值得深入研讀與實際操作驗證。

---

論文資訊
📄 Score Matching with Missing Data
👥 Givens, Liu, Reeve
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2506.00557