Conformal Prediction as Bayesian Quadrature

研究背景與動機

隨著機器學習系統逐步進入醫療、金融、法律等高風險領域，預測模型的可靠性與不確定性量化成為關鍵問題。傳統的預測模型往往只提供點估計，而缺乏對預測誤差與風險的合理界定，這在實務應用中容易導致嚴重後果。為此，分佈無關（distribution-free）與頻率主義（frequentist）基礎的「共形預測（conformal prediction）」技術被提出，利用有限的樣本資料對模型的預測誤差提供保證，無需假設資料分佈或模型細節，因此受到廣泛重視。

然而，儘管共形預測為黑盒模型提供了嚴謹的頻率性覆蓋率控制，這種頻率主義框架本身存在限制。頻率主義保證強調長期平均行為的頻率性質，卻難以回答在某一次特定應用場合中，模型輸出信心的主觀解釋；此外，頻率保證下的結果只是一個區間覆蓋率，缺少對這個區間內各情況的可能性分配，顯得較為「粗糙」且不夠靈活。

基於此，本論文由Snell與Griffiths提出了一個全新視角，將共形預測從傳統頻率主義框架轉換到貝葉斯推斷框架，提出「共形預測作為貝葉斯求積（Bayesian Quadrature）」的新方法，藉此突破頻率性方法的限制，提供更加豐富與直觀的不確定性量化。

核心方法與創新

本論文的核心創新在於重新定義共形預測的基本任務：傳統共形預測關注的是以資料集作為交換性假設生成的非違反覆蓋區間，即試圖對未知測試點的損失函數做頻率意義上的界定。而作者指出，可以將損失函數值（或誤差）視為一個積分問題，其中目標是對損失函數在測試點分佈下的期望或相關統計量進行估計，此即為數值積分問題。

為解決此積分問題，論文借鑒了「貝葉斯求積」理論 — 一種基於高斯過程（Gaussian Process, GP）的數值積分方法，通過對積分函數的分佈假設，量化對積分值的不確定性，並以貝葉斯方法更新信念。具體而言，作者將共形得分（conformal score）視作函數的值，並以貝葉斯模型對這些得分的積分進行推斷，最終得到一個「貝葉斯共形預測區間」，該區間不只是頻率意義上的覆蓋集合，更帶有概率分佈密度，可以對區間內不同分點的損失大小給出合理的可信度判斷。

這一框架的核心技術步驟包括：

• 將共形預測中的非參數分布估計問題轉化為貝葉斯積分問題。
• 運用高斯過程對損失函數曲線進行建模，藉此捕捉損失在不同測試點上的變異性。
• 利用貝葉斯推斷更新損失分佈的未來觀測的信念，生成比傳統頻率保證更富信息量的區間。

作者理論上證明這種方法在不損失頻率覆蓋率保證的同時，賦予了結果解釋豐富性與實用性，能更貼近決策者對不確定性的理解需求。

主要實驗結果

論文中，Snell與Griffiths設計了一系列真實世界與合成資料集的驗證實驗，包括分類問題及迴歸任務，對比了傳統共形預測與他們提出的貝葉斯共形預測在不確定性量化及區間覆蓋率上的表現。主要發現如下：

• 覆蓋率一致性：新方法與傳統方法在長期頻率覆蓋率上表現相當，均能達到預設信心水準，示範了理論上的保證並未因貝葉斯轉化而弱化。
• 區間寬度與解釋力：貝葉斯方法提供了範圍內不同點的概率密度分佈，使能針對具體情境給出更細緻的不確定性判斷；比起傳統共形僅有的區間長度度量，提供了豐富的決策信息。
• 實務應用靈活性：作者展示了如何根據不同風險容忍度調整貝葉斯共形預測的參數，使其在高風險任務中提供更有針對性的保證，有助於上游決策制定。
• 計算效能：儘管引入了高斯過程模型，通過有效的近似演算法，方法在中等規模數據上的計算開銷仍在可接受範圍之內，具備實務應用潛力。

對 AI 領域的深遠影響

本論文最重要的貢獻，是將頻率主義與貝葉斯思維這兩大不確定性量化框架一度被視為對立的流派，提出了她們的創新整合方案。這種跨界融合不僅理論上提升了對不確定性的刻畫能力，也在實務中帶來更具解釋力與靈活性的工具，有助於推動高風險人工智慧系統的安全應用。

對未來研究而言，本方法開啟了以下幾個潛在方向：

• 結合更多複雜模型的貝葉斯求積框架，如深度學習模型中的不確定性估計。
• 擴展到動態環境或序列決策情境中，改進時間序列資料或強化學習中的風險評估。
• 發展針對特定應用場景（如醫療診斷、金融風控）的定制化貝葉斯共形方法，提高其實用性與可解釋性。

總結而言，Snell與Griffiths的這篇《Conformal Prediction as Bayesian Quadrature》不僅是一篇技術創新與理論完善兼具的傑作，更為不確定性量化領域注入了新的活力，為推動可信且可解釋的AI系統發展奠定了堅實基礎，實至名歸獲得了ICML 2025傑出論文獎。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228