Conformal Prediction as Bayesian Quadrature

隨著機器學習模型越來越多應用於金融風險評估、醫療診斷、司法判決等高風險場景，模型預測的可靠性與不確定性量化變得尤為重要。傳統的黑盒模型雖然在預測準確度上不斷突破，但其不確定性評估往往不足，且若部署時遭遇數據分布偏移，預測錯誤可能導致嚴重後果。為此，分布無關（distribution-free）且具保證性的「符合預測」（Conformal Prediction, CP）技術受到廣泛關注，因其能在不依賴模型分布假設的前提下，提供有意義的信賴區間或有效覆蓋率。但CP方法本質上屬於頻率派（frequentist）框架，儘管保證強健，卻也存在靈活性與詮釋上的限制。

ICML 2025 年由 Snell 與 Griffiths 提出、榮獲 Outstanding Paper 的論文《Conformal Prediction as Bayesian Quadrature》，從根本上重新思考了符合預測的理論基礎，並突破地將其置於貝葉斯（Bayesian）觀點之下進行探討。此研究釐清了過去頻率派符合預測存在的不完整性，提出一套基於貝葉斯積分（Bayesian Quadrature，BQ）的新方法，不僅保有可解釋的保證，還能呈現損失函數潛在的分布範圍，呈現更豐富且實用的不確定性描述。

研究背景與動機

符合預測作為一種不依賴假設的校正機制（calibration mechanism），透過利用歷史驗證集合（calibration set）的預測誤差行為，推導出測試階段應能達到的覆蓋率保証。其核心優勢在於對底層模型的「黑盒」假設，使得任何預測方法都能被包容進框架內，提供保證。然而這些保障屬於頻次意義下（頻率派意義）的概率保證，換言之，保證的是在無限次獨立重複實驗下所觀察的覆蓋率行為，並非對單次預測的完全可信度推論。這在實務應用中帶來詮釋限制，與對精確風險管理日益嚴苛的需求有所落差，尤其在樣本數有限且模型複雜的場景下更為明顯。

另一方面，貝葉斯方法強調以先驗知識結合觀察資料透過後驗機率推論，在不確定性定量與決策制訂上擁有天然優勢，但傳統貝葉斯不確定性量化又缺乏能覆蓋「未觀察樣本」性能的頻率保證。因而如何將頻率保証與貝葉斯不確定性複合成統一框架，既是理論上重要問題，也具備實務高度價值。

核心方法與創新

本論文的核心創新在於：

• 符合預測與貝葉斯積分的等價關係揭示：作者證明了符合預測中的置信區間與損失分布期望的估計，實際上可被視為一種特定的貝葉斯積分問題，即對損失函數分布的貝葉斯後驗預測分佈計算。這一觀察打破了過往頻率派與貝葉斯法則界線，提供了數學上的連結與統一視角。
• 基於貝葉斯積分的替代框架：運用貝葉斯積分方法，透過對不確定函數的後驗分佈建模與對損失的數值積分估計，展示可取得不僅是覆蓋率保證，更是損失的全分布預測。這讓模型不確定性可以以概率分布而非單一區間的形式被表達，能呈現更豐富的風險結構。
• 實用演算法設計：論文提出實際可行的運算過程，結合高效的高斯過程（Gaussian Process）作為後驗非參數模型，並利用貝葉斯積分的核技巧避免高維數據面臨積分爆炸問題，保障計算效能與結果穩健性。

主要實驗結果

作者在多個標準迴歸與分類資料集上驗證提出方法，並與傳統符合預測方法以及常用不確定性量化技術作比較。實驗結果展示：

• 覆蓋率與保證的符合度：貝葉斯積分框架在覆蓋率控制上能達到甚至優於標準符合預測，且在樣本量較小時表現更穩定。
• 損失分布的完整描述：該方法不僅給出保護覆蓋率的置信區間，更可估計損失的整體後驗分布，幫助使用者洞察可能的風險範圍與尾部分布，例如極端錯誤的概率。
• 模型不確定性的靈活性與解釋力提升：透過後驗分布的視覺化，使用者能更直觀理解預測置信，不再是置信區間的點線，而是整體概率景觀，利於風險決策。

對 AI 領域的深遠影響

本論文的重要貢獻不僅在理論上架起了頻率派與貝葉斯派不確定性量化的橋樑，更在實務層面提供了一套既有可操作性又具解釋性的工具，對 AI 領域未來透明可靠的預測系統建構具有深遠意義。具體而言：

1. 理論整合與推進：打破了不確定性量化中頻率派與貝葉斯派的對立思維，促使研究者重新審視機器學習預測模型的保證定義與解釋，在統計學與機器學習方法論上都有啟發。
2. 高風險應用領域的安全保障：提供了更細膩的損失概率分布資訊，使得自動決策系統在醫療診斷、金融風險管理、司法預測等領域可根據具體風險偏好制定更合理且符合現實需求的條件和策略。
3. 推動不確定性評估的普及與標準化：隨著該方法算力與效能平衡的實現潛力，未來有望成為業界標準的風險評估工具之一，促進負責任 AI 的推廣。
4. 激發跨領域合作：由於貝葉斯積分方法依賴統計推論、機器學習與數值分析的交叉，促進了數學統計與人工智慧演算法間的互動，推動多學科融合的前沿發展。

總結而言，《Conformal Prediction as Bayesian Quadrature》一文通過創新理論洞察和實用算法創新，重新定義了符合預測的不確定性量化範式。對於希望構建明確風險控制、具有解釋力且理論紮實的 AI 系統的研究者與工程師，這項工作提供了極具價值的理論基礎和技術工具，預期將引領未來不確定性量化的變革方向。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228