Score Matching with Missing Data 深度簡介

隨著機器學習與統計建模的發展，如何有效學習資料的潛在機率分布成為許多應用的核心，例如擴散過程（diffusion processes）、能量式模型（energy-based modeling）以及圖模型估計（graphical model estimation）等。傳統上，分數匹配（score matching）作為一種無需直接估計概率密度函數即可學習資料分布的方法，因其計算便利性與理論美妙性，倍受學術界與工業界重視。然而一個長久存在但未被妥善解決的瓶頸是：實際資料中常常帶有遺失值（missing data），這對分數匹配的傳統應用形成嚴重挑戰。

《Score Matching with Missing Data》這篇由 Givens、Liu 及 Reeve 於 ICML 2025 發表並獲得 Outstanding Paper 獎項的論文，針對分數匹配在遇到資料遺失時的適用性問題，提出革命性的解決方案。 本文的關鍵在於設計兩種創新的分數匹配變體，能夠靈活處理任意維度子集的部分資料遺失，這使得分數匹配方法得以在真實世界的不完整數據環境中廣泛應用。

研究背景與動機

分數匹配源自 Hyvärinen 於 2005 年的經典工作，透過最小化真實資料分布分數函數（score function，即對數密度的梯度）與模型分數函數間的差異，以估計參數而不需估計整體概率密度。此特性對於高維度及未歸一化模型尤其重要。然而，標準分數匹配依賴完整資料觀察，當資料部分缺失（如臨床研究、問卷調查或感測器網路常見），傳統方法難以直接套用。

遺失資料問題在機器學習中是一大挑戰，傳統的解法如期望最大化（EM）、多重插補（Multiple Imputation）常依賴假設或重構缺失資料，但在分數匹配框架下尚無一致且有效的策略。鑒於缺失資料普遍且複雜，本論文的主要動機即是在保有分數匹配優勢的同時，融入對遺失機制的估計與調整，讓模型學得更精準且有理論保證。

核心方法與創新

本文提出兩大類創新方法：

• 重要性加權(score matching with Importance Weighting, IW)方案：此方法透過引入遺失模式的機率權重，修正目標分數匹配損失函數，讓在缺失資料狀態下的估計仍然無偏且有收斂性。特別地，作者利用觀察到的資料與缺失機制的條件機率，計算每個資料點的加權因子，在有限樣本下理論證明了估計誤差的界限，且實驗顯示在樣本較少且資料維度不高的環境下，此法表現優異。
• 變分近似(Variational)方案：考量高維度與複雜遺失模式下，計算重要性加權可能產生方差過大問題，作者轉向變分推理框架，引入了一組變分分布來近似缺失資料的後驗分布，進而用可微分的變分損失函數來優化。此方法透過端對端學習架構大幅提升效率與穩定性，在高維圖模型估計任務中展現最強韌性與準確率。

兩方案的互補性使得本系列方法能從資料規模、維度及遺失複雜度等多維度角度，提供定製化的學習解決方案。此外，作者針對二者在不同條件下的理論性能做了詳細分析，包含泛化誤差與方差偏差的權衡，確保了方法的嚴謹性與實用性。

主要實驗結果

為驗證方法有效性，作者使用模擬數據及多種真實世界數據集，包括合成圖模型以及真實臨床數據，設計多種遺失機制（MAR, MCAR等），全面測試兩種方法的性能表現：

• 在低維度且樣本量有限時，重要性加權方案維持了較低的估計偏差並保持穩定性，明顯優於使用簡單數據插補或直接丟棄遺失值的傳統方法。
• 在高維度場景，變分方法因其靈活逼近複雜後驗分布而展現優異效果，能有效捕捉條件依賴結構，於圖模型結構復原任務中在精度與計算效率上取得平衡。
• 理論結果與實驗數據高度吻合，表明所有設計的損失函數及優化策略在多種遺失模式及資料分布下皆能收斂且產生可靠估計。

綜合比較，兩種方案不僅補足了傳統分數匹配在缺失資料上的短板，也與當前主流缺失資料處理方法相比，在準確性與泛化能力上均具備明顯優勢。

對 AI 領域的深遠影響

此篇論文的突破，不僅針對分數匹配模型在缺失資料處理上提供了系統性解決方案，也為整個機器學習社群釐清了如何將概率建模方法擴展到不完整數據環境的可行路徑。具體而言：

1. 促進了分數匹配在實務中的廣泛應用：諸如醫療資料、金融市場、物聯網系統等多數需要處理不完整數據的領域，現在可直接運用分數匹配構建更精確的生成模型與判別模型。
2. 啟發未來缺失資料機制的結合研究：兩種方案展示了如何巧妙利用遺失機率結構與變分推理，促進後續研究者將分數匹配與其他缺失資料技術（如因果推斷、生成對抗網絡等）結合。
3. 理論與實務兼具的設計風格：本論文不僅嚴謹證明了方法的理論性質，也細膩實作於多樣資料場景，標竿式示範了如何打造可落地且具學術價值的 AI 技術。

總結來說，Givens 等人的工作成功突破了分數匹配方法在缺失資料處理上的長期瓶頸，為將來更智慧、靈活的生成模型及統計推斷奠定了堅實基礎。對於有志於推進生成模型理論與應用的研究生和工程師而言，此篇論文是理解與掌握現代概率建模技術不可或缺的重要教材。

---

論文資訊
📄 Score Matching with Missing Data
👥 Givens, Liu, Reeve
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2506.00557