Conformal Prediction as Bayesian Quadrature

隨著機器學習模型在金融、醫療、法律等高風險應用領域的廣泛部署，對模型預測不確定性的理解與量化成為一項刻不容緩的課題。雖然黑盒模型在準確率上的表現日益提高，但在實務中，我們更關心模型預測的可靠性及其潛在失誤的風險。傳統的分布無關（distribution-free）不確定性量化技術中，「順應預測」（Conformal Prediction, CP）因為能針對任何黑盒模型提供理論性「保證」，受到廣泛關注，特別是在頻率派概率框架下，不要求數據分布的特別假設。然而，這些頻率派的保證在過度依賴大量假設和對資料生成機制的保守推論，往往限制了方法在複雜場景與多樣應用中的靈活性與解釋力。

本篇由 Snell 與 Griffiths 於 ICML 2025 發表並獲得「Outstanding Paper」獎項的論文《Conformal Prediction as Bayesian Quadrature》正是在此背景下提出的突破性工作。作者針對傳統 CP 方法的本質進行重新詮釋，從頻率派視角轉換到貝葉斯框架，揭示現有頻率派保證的局限，同時融合貝葉斯數值積分（Bayesian Quadrature, BQ）的理念，提出一種結合理論嚴謹與實用性的全新方法。

研究背景與動機

傳統的順應預測技術基於頻率派概率，通過利用歷史數據構造一種可行的置信集，保證包含真實標籤的概率不低於某個預設水平。例如，在回歸任務中，CP 可產生一個預測區間，保證該區間在長期反覆採樣中包含真實值的頻率達到目標置信度。雖然無需假設特定的分布模型或僅需弱假設，但其頻率派性質往往使得對保證的解讀較為僵硬，且忽視了先驗知識與模型的內在不確定性，造成在複雜真實場景中保證的保守與不足。此外，CP 產生的置信區間多半是對觀察損失的一種抽象統計描述，無法呈現損失行為的多樣可能性。

基於此，作者提出一個關鍵問題：是否能藉由貝葉斯思維，將順應預測視為一種貝葉斯數值積分問題，從而達到兼具「保證」與「解釋力」的預測不確定性估計？換言之，他們嘗試跨越頻率派與貝葉斯派的橋樑，利用貝葉斯框架的靈活建模能力，增強傳統順應預測的表達力與應用廣度。

核心方法與創新

作者的核心創新在於將順應預測的問題重新定義為在損失函數空間上的貝葉斯數值積分問題。具體而言，他們觀察到，傳統CP是基於歷史剩餘值的經驗分布來構造置信區間，而經驗分布可以被視為對真實損失分布的一種抽樣估計。在這個意義上，構造置信區間等同於估計損失函數下的一個機率量，這可以用貝葉斯數值積分來自然表達，即將損失空間看作一個函數空間，在此函數上進行積分推理。

基於此，作者設計了一種新的算法結構：

• 首先，從順應預測中的剩餘誤差出發，構建對損失函數的貝葉斯先驗，常採用高斯過程作為先驗分布，以表達損失函數的潛在平滑性與結構。
• 利用貝葉斯數值積分技術，推斷損失分布的後驗分布，這允許不只是給出一個置信區間，而是生成一個損失分佈的後驗量化，反映損失的多樣可能性與不確定性層次。
• 該方法同時提供以貝葉斯風格的可信度解釋，改變頻率派方法僵硬的保證解讀，讓用戶能根據先驗知識與數據自動調整不確定性評估。

整體而言，論文中提出的「貝葉斯順應預測（Bayesian Conformal Prediction）」大幅開拓了不確定性量化的理論視野，不再拘泥於頻率派的限制，而是利用貝葉斯積分的強大表達能力，提升了解析深度與實務彈性。

主要實驗結果

作者在多種實驗設置下驗證了所提方法的有效性與優越性，包括回歸與分類任務，並且對比了傳統頻率派 CP 與其他現代不確定性估計方法：

• 在概率保證準確性方面，貝葉斯CP不僅保持了與頻率派CP同等甚至更嚴謹的保證概率，且其保證在較小樣本量下更加穩健。
• 從不確定性描述的豐富性來看，新的方法能提供完整的損失後驗分佈，而非單一置信區間，幫助用戶深入理解預測潛在風險的多元可能。
• 在實際應用中，作者展示了如何利用貝葉斯CP進行決策制定，顯著提升了基於置信度度量的決策效果，尤其在醫療診斷等關鍵場景中表現出更加合理的風險管理能力。

這些實驗充分驗證了「以貝葉斯數值積分重新定義順應預測」的新想法，不僅理論架構嚴謹，也具備高度的實務應用潛力。

對 AI 領域的深遠影響

《Conformal Prediction as Bayesian Quadrature》這篇論文打破了長久以來順應預測與貝葉斯不確定性估計的壁壘，提出了一條融合兩大主流哲學視角的新路徑。它讓我們重新審視不確定性量化的本質，表明模型不確定性不單是隨機事件的頻率現象，而是可以被貝葉斯思想透過先驗知識與觀測共同塑造，賦予更細膩且解釋力豐富的表達形式。

此研究不僅深化了統計學與機器學習基礎理論，也為實際機械學習系統在高風險場景中的可信運行提供了新思路，有望促使未來的模型驗證、風險評估與安全保障方法更加科學與完善。在 AI 安全、可解釋 AI (Explainable AI)、自適應決策系統等領域中，此方法可能成為衡量與控制預測風險的理論基石與實踐利器。

總結來說，Snell 與 Griffiths 的工作不僅在理論上提出了具突破性的視角轉換，更對提升 AI 系統在現實世界中安全可靠運作的重要命題做出了關鍵貢獻，無疑將引領未來不確定性量化研究的新趨勢。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228