Conformal Prediction as Bayesian Quadrature

隨著機器學習系統逐漸被應用於諸如醫療診斷、金融風控及自動駕駛等高風險領域，如何準確評估模型在實際部署中的預測不確定性，成為 AI 研究與工程中一項關鍵挑戰。傳統的黑盒模型雖然在性能上取得驚人成果，但預測結果的可靠性往往難以保證，尤其在資料分布可能偏移或未知時更是如此。為此，分佈無關（distribution-free）的不確定度量方法如保準預測（conformal prediction）被廣泛研究，因其能在無須假設特定資料分佈的情況下，對模型預測的損失提供嚴格保證，成為實務上極具吸引力的工具。

然而，傳統保準預測方法根植於頻率主義（frequentist）概率理論，透過有限樣本的數據重複抽樣性質推導保證，但其所給出的區間通常較為保守，且對於損失的概率分布描述較為粗糙，缺少對損失變動性的豐富認識。此外，頻率主義的不確定性量化難以納入先驗知識，也不易與貝葉斯方法整合，限制了其在模型評估上的彈性與資訊深度。

本論文由 Snell 與 Griffiths 於 ICML 2025 提出，榮獲 Outstanding Paper 獎項，突破性地從貝葉斯視角重新詮釋與擴展保準預測框架，將其視為一種「貝葉斯積分法」（Bayesian Quadrature）問題。這一創新視角不僅揭示了傳統頻率主義保準預測的局限性，也為不確定度評估提供了一條全新且更具解釋力的道路。

研究背景與動機

保準預測因其不依賴資料分布假設，且能提供可控誤差上界的特性，成為黑盒模型不確定性估計的熱門方法。然而，在實務中，頻率保證多半是漸近且針對整體失誤率的平均行為，無法反映單一次測試輸出對應的不確定度內涵。此外，這些方法難以有效融合領域知識，或是對損失函數的先驗分布建模，導致其應用在更複雜及高度非對稱誤差風險場景時效果受限。

另一方面，貝葉斯方法擅長透過先驗知識與觀測資料進行後驗推斷，對不確定度提供更為豐富且具體的表示。但要如何將貝葉斯框架自然地應用於不確定度量與風險控制，尤其在保準預測所追求的分佈無關性條件下，仍是一大難題。

核心方法與創新

作者提出將保準預測的核心「校準」過程視為對損失分布進行貝葉斯積分的任務。具體而言，傳統保準預測中會利用歷史校準數據構造一個預測區間，確保新數據點存在於該區間的機率達到指定置信度。論文觀察到，此過程等價於對損失函數的分布進行積分評估，而此積分問題可以透過 Bayesian Quadrature 技術來求解。

Bayesian Quadrature 是一種基於高斯過程（Gaussian Process, GP）回歸的數值積分方法，能在少量評估點的情況下推估積分結果的後驗分布，不僅能給出積分估計值，也自然提供積分不確定度的量化。作者設計了一種新的貝葉斯保準預測算法，透過高斯過程對損失函數在測試階段的表現進行建模，利用先驗與歷史校準數據推斷損失的後驗分佈，並利用 Bayesian Quadrature 計算損失的置信區間。

此方法相較於傳統頻率保準預測，具備以下創新優勢：

• 能提供對損失分布的不確定度全貌，不僅是置信區間的邊界，而是整體損失分布的後驗信念。
• 可靈活引入先驗知識，調節對損失函數行為的假設，進而提升校準效率與準確性。
• 生成的風險保證更具有解釋力，有助於風險管理者理解模型在不同情境下可能承擔的損失範圍。
• 跨越頻率主義與貝葉斯哲學的鴻溝，為分佈無關的不確定度量方法開啟新的理論與實踐途徑。

主要實驗結果

作者在多個包含回歸與分類任務的標準基準數據集上，進行了廣泛實驗，對比了傳統頻率保準預測與其貝葉斯保準預測方法。實驗結果顯示：

• 貝葉斯保準預測在校準效率上顯著優於標準保準預測，意味著其在相同數量的校準數據下，能提供更精確的置信區間。
• 在模型輸出損失可能高度不對稱或多模態的複雜場景中，貝葉斯方法能更好地捕捉損失分布的細節，提供更具信息量的不確定度描述。
• 其損失後驗分布估計能夠為決策制定者提供額外的風險評估信息，有助於定制更穩健的安全閾值。
• 在模擬資料分布偏移的設定中，貝葉斯方法展現較佳的泛化校準能力，提升部署時的風險控制信心。

對 AI 領域的深遠影響

本論文從理論與實踐雙重角度，成功將保準預測與貝葉斯數值積分相結合，打開了不確定度量方法的新視野。這種跨哲學體系、跨方法論的融合，為 AI 領域中風險可控的模型部署提供了更為強大且靈活的技術基礎。

首先，此研究促進了保準預測方法的理論深化與擴展，挑戰了過去僅依賴頻率視角的範式，讓學術界與工業界能以更精細的概率語言理解和控制風險，進一步提升了這類方法在醫療、金融等高風險應用上的可信度。

其次，貝葉斯保準預測所帶來的先驗知識注入與後驗不確定度完整刻畫，不僅使風險評估更具解釋性，也為自適應校準、動態風險管理等後續擴展應用提供理論支持與實踐路徑。

最後，此論文展現了 Bayesian Quadrature 技術在機器學習不確定度量上的強大潛力，激勵更多研究聚焦於如何借助貝葉斯視角，提升對模型不確定度的深度理解與有效控制，推動 AI 系統向更安全可靠方向發展。

總結而言，Snell 與 Griffiths 的《Conformal Prediction as Bayesian Quadrature》不僅是一篇理論創新與實驗驗證俱佳的傑出論文，更為 AI 不確定度量領域帶來了跨越性突破，具備開啟未來多元研究與實踐革命的潛力。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228