Conformal Prediction as Bayesian Quadrature

在當前機器學習與人工智慧領域，對模型預測不確定性的量化已成為核心任務，尤其在醫療、金融、風險管理等高風險應用中更是不可或缺。傳統上，統計學和機器學習社群分別發展出兩套主流方法：全頻率學派（Frequentist）中的 Conformal Prediction（保形預測）與貝葉斯方法（Bayesian approaches）中的貝葉斯積分（Bayesian Quadrature）。然而，這兩種方法在理論基礎與應用方式上長期存在鴻溝，難以整合。

來自 DeepMind 的 Snell 與 Griffiths 於 ICML 2025 發表的論文《Conformal Prediction as Bayesian Quadrature》榮獲 Outstanding Paper 獎，成功搭建了一座橋樑，將保形預測從頻率學派的覆蓋率保證視角，轉譯為貝葉斯積分的貝葉斯不確定性框架，為預測不確定性量化帶來全新理解與方法論基礎。

研究背景與動機

保形預測（Conformal Prediction, CP）是一種建立在泛化保護性（distribution-free guarantees）上的統計工具，能在不依賴模型形式假設的前提下，為預測結果提供置信區間，保證其包含真實值的概率大致等於預先設定的信心水準。其優勢在於操作簡便、理論保證強，但通常與貝葉斯方法所提供的後驗分布解釋略顯割裂。

貝葉斯積分（Bayesian Quadrature, BQ）則是利用高斯過程等貝葉斯非參數方法對積分問題（例如期望值計算）進行貝葉斯推理，能自然地提供不確定性度量。儘管 BQ 能融合先驗知識，擁有精緻的不確定性估計，但在保證外推到「真實覆蓋率」時欠缺頻率意義的嚴格保護。

這種割裂限制了兩者在實務中的結合應用，也阻礙了將 CP 視作不確定性推理工具，或將 BQ 應用於建構覆蓋率保證的置信區間。因此，作者希望從貝葉斯數值積分視角重新詮釋 CP，探索兩者的本質關聯，藉此推動不確定性估計理論與應用的整合。

核心方法與創新點

本論文的核心貢獻是揭示並形式化保形預測與貝葉斯積分之間的對偶關係。具體而言，作者將保形預測所構造的置信集視為一種貝葉斯數值積分問題中後驗分布的置信集合，並證明給定特定的核函數（kernel）與損失函數，保形方法可被解讀成在貝葉斯框架下對積分的不確定性推理。

主要技術路徑包括：

• 將保形方法的覆蓋率條件轉換成對積分的不確定性條件：透過理論證明，將保形預測中對「真實標籤覆蓋」的頻率保證，用貝葉斯積分對積分後驗的分佈進行描述，達成兩者之間的橋接。
• 引入合適的核函數結構：利用高斯過程核的特性，對保形預測中構造 p 值的過程進行貝葉斯再詮釋，將 p 值看作貝葉斯積分闕值判斷。
• 創新性地提出「貝葉斯保形預測」框架：以貝葉斯視角重新設計保形預測演算法，融合貝葉斯積分估計的方法學優勢，能在兼具頻率學派覆蓋率保證與貝葉斯方法靈活不確定性量化。

此架構不僅增強了理論的統一性，也賦予原本頻率式方法彈性的貝葉斯解讀，同時對貝葉斯積分技術引入嚴謹頻率定義的覆蓋率保障，兩者相得益彰。

主要實驗結果

作者在論文中進行多種合成及真實數據集上的嚴謹實驗，評估傳統保形預測方法、標準貝葉斯積分與本論文所提出的「貝葉斯保形預測」框架。以下為實驗亮點：

• 準確且穩健的覆蓋率達成：與傳統保形方法相當，但在樣本數量有限或分布變動時，新方法能更有效地維持覆蓋率，不易失效。
• 更細膩的不確定性表達：相較於傳統保形預測的集合表示，貝葉斯保形方法提供完整的後驗分布形式，能夠呈現更豐富的概率資訊，便於下游推理與決策。
• 不確定性指標與決策表現提升：在風險敏感場景下，利用貝葉斯保形預測生成的置信區間，決策系統在避免誤判與過度保守間獲得更佳平衡。

此外，實驗還證實引入核函數調整與模型先驗設計有助於提升方法泛化能力，展示良好可擴展性。

對 AI 領域的深遠影響

這篇論文的貢獻不僅是技術上將兩大預測不確定性量化方法整合，更帶來以下深遠影響：

1. 架構轉變：改變了研究者認知中頻率學派和貝葉斯學派在不確定性量化上的「二元對立」，讓兩者可作為同一概率量化問題的不同視角，促進方法論統一發展。
2. 實務應用拓展：貝葉斯保形預測能同時兼顧嚴謹頻率保証和靈活貝葉斯推論，非常適合安全關鍵和資料稀缺的 AI 系統，使不確定性評估更可靠，助力部署於醫療診斷、金融信貸評估、自主駕駛等高風險領域。
3. 促進貝葉斯數值方法發展：論文中提出以貝葉斯積分框架處理覆蓋率問題，激發未來研究探索更多貝葉斯數值分析工具在不確定性保證上的應用，推動數值推理與機器學習的交叉融合。
4. 理論與實踐橋梁：為信賴區間與置信區間設計、離散數據上的不確定性量化，建立嶄新的理論依據，降低理論與應用落差，促進更健全的 AI 系統安全性保障。

綜合來看，Snell 與 Griffiths 的這篇傑出論文以優美的理論構架與嚴謹實驗驗證，推動了不確定性理論的革新與融合。對具備基礎 AI 知識的工程師與研究生而言，不僅提供了保形預測及貝葉斯積分兩大主流方法的嶄新統一視角，也為日後不確定性量化技術的研發指明方向，值得深入學習與應用。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228