Conformal Prediction as Bayesian Quadrature

隨著機器學習系統於金融、醫療、自動駕駛等高風險場景的廣泛應用，如何在模型部署階段準確量化預測不確定性，成為 AI 領域亟需解決的重要問題。傳統上，保形預測（Conformal Prediction, CP）以其分佈無關（distribution-free）且對黑盒模型均可保證失敗率上界的特性，成為不確定性估計的熱門工具。然而，CP背後基於頻率主義（frequentist）的理論框架，雖然提供嚴格的保險性保證，卻也有其限制，尤其在解釋性和靈活性上不易滿足更為廣泛的應用需求。

在ICML 2025獲得傑出論文獎的Snell與Griffiths的新作《Conformal Prediction as Bayesian Quadrature》中，作者們重新審視保形預測的核心觀念，並提出從貝葉斯視角切入，將保形預測方法本質上等同於一類「貝葉斯積分（Bayesian Quadrature）」問題。這一觀點不僅豐富了我們對CP理論根基的理解，更從根源層面揭示了頻率主義保證的不足。李文中透過貝葉斯統計為基礎，打造出可實作且保有解釋力的替代方案，使得失敗率的估計結果更加直觀且易於擴展。

研究背景與動機

保形預測是一種罕見的分布無關預測集構造技術，透過對訓練資料及新數據均勻置換的假設，能為任何給定模型提供一組理論保證。例如，當你要求95%的置信度，CP方法可以保證在無論資料真實分布為何，其覆蓋率下界至少是95%。這使得CP在缺乏對真實資料分布資訊的前提下，成為一個無分布假設的強力工具。

然而，頻率解釋的置信區間只保證長期頻率覆蓋性，無法提供對特定樣本或特定應用情境下不確定性真實結構的豐富描述，也難以與先驗知識結合。此外，CP通常只關注預測區間的大小和覆蓋率，忽略了對模型性能指標（如損失函數）的貝葉斯後驗分佈探索。基於此，作者試圖探究CP方法與貝葉斯框架間的對應與整合潛力，企圖突破CP的現有限制。

核心方法與技術創新

本論文的核心創新在於將保形預測的失敗率計算重新形式化為一個貝葉斯積分問題，即針對模型的損失函數值進行積分估計。貝葉斯積分（Bayesian Quadrature, BQ）是貝葉斯統計中用於估計積分值的方法，它將積分這一點估計問題視為函數不確定性的推斷問題，透過高斯過程（Gaussian Process, GP）為目標函數建模，並給出積分結果的後驗分布。

論文指出，傳統CP所求的覆蓋率或失敗率可視為某類離散指標函數在損失函數分布上的積分，在頻率方法下固定且無法針對未見數據調整。而採用貝葉斯積分，則能根據觀察到的損失值對目標函數建模，並以後驗分布形式表達不確定性，允許更富彈性的風險評估。

此外，作者提出了一種實作上的演算法架構，令這種基於BQ的保形預測系統在真實世界的高維和非線性損失函數上可行。具體而言，該方法通過策略性採樣和高斯過程的利用來高效估計損失分布，使得最終的預測覆蓋區間不僅具有頻率意義，同時賦予判斷損失不確定性的解釋力與可視化上的優勢。

主要實驗結果

實驗部分作者以多種公開資料集和模型，包括分類與回歸任務，驗證了該方法在保形預測的失敗率估計方面的優勢和適用性。透過與傳統CP和其它基於貝葉斯的方法比較，主張自己的框架能提供更精緻的失敗率後驗分佈，顯示失敗率估計更具穩定性，同時在置信區間的寬度與覆蓋率間取得更好平衡。

此外實驗還證明該方法能有效捕捉模型在不同資料分佈條件（如偏態樣本、不確定樣本）下的性能變化，展示了頻率方法所不及的靈活應對能力。尤其在高風險應用中，此方法對失敗機率的描繪更貼近實際觀測，便於風險管理和決策調整。

對 AI 領域的深遠影響

本論文不只是對保形預測的理論精進，更為機器學習不確定性估計領域提供一個全新視角：透過貝葉斯積分框架，不再單純追求保形方法形式上的頻率保證，而是結合貝葉斯建模帶來的後驗解釋力與決策彈性。這種跨 paradigms 的融合，有望激勵未來更多關於預測不確定性量化的新方法，拉近理論保證和實務可用性之間的距離。

在安全關鍵AI系統中，該研究促使開發者不僅依賴置信保證作為輸出解釋的唯一依據，而是進一步檢視損失分布的後驗推斷，從而細緻掌握模型在特定任務或情境下的可能行為。這將有助於提高系統透明度、增強用戶信任及提升風險控管能力。

總結而言，Snell與Griffiths在《Conformal Prediction as Bayesian Quadrature》一文中，巧妙運用貝葉斯積分方法為保形預測帶來嶄新詮釋與實用升級，為機器學習不確定性量化領域立下新標竿。未來該理論與方法論的延伸，有望推動AI系統在更廣泛高風險場景中的安全可靠應用。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228