Conformal Prediction as Bayesian Quadrature

在當前機器學習與統計推斷領域中，不確定性估計與可信度量化一直是核心挑戰。Conformal Prediction（共形預測）作為一種分佈自由（distribution-free）的置信區間建構技術，因其理論保證與實作靈活性，獲得研究與應用廣泛關注。另一方面，Bayesian Quadrature（貝葉斯數值積分）則以貝葉斯方法估計積分值及其不確定度，極大提升了數值積分的效率和準確性。來自 Snell 與 Griffiths 於 ICML 2025 發表、並榮獲 Outstanding Paper 的論文〈Conformal Prediction as Bayesian Quadrature〉透過巧妙將這兩大看似迥異的技術橋接，提出全新視角與方法，為不確定性評估與積分計算開闢了嶄新道路。

研究背景與動機

機器學習中，不確定性估計主要有兩大方向：一是以頻率論方法建立泛化誤差的置信區間，二是以貝葉斯框架透過後驗分佈推斷信賴範圍。Conformal Prediction 是典型頻率論流程，核心優勢是對資料分佈無強假設，能以有限樣本提供置信度的嚴格保證，因此在分類、迴歸任務均有成功應用。其不足之處在於方法側重於個別預測的置信區間，未直接針對積分或全局推斷不確定度建模。

與此同時，Bayesian Quadrature 則發展出利用高斯過程等 Bayesian 信念對目標函數進行建模，並基於該模型對積分結果進行分佈式推斷。這在計算機科學的定量推斷、機器學習中的貝葉斯模型計算中極具吸引力，但其對模型假設較為敏感，且在缺乏先驗知識或資料有限時不易保證頻率論意義上的覆蓋度。

因此，作者動機在於探尋如何因應不同不確定性度量的優缺點，打造一套方法在兼顧理論嚴謹（尤其是頻率保証）與實用彈性之間取得平衡。具體來說，是否能將共形預測的頻率論保證與貝葉斯數值積分的模型不確定度視角結合，並將兩者納入同一框架中進行統一理解與實作，成為該研究的核心問題。

核心方法與創新

論文最主要的核心貢獻是在理論層面指出，共形預測方法在某種設定下等價於貝葉斯數值積分的後驗分佈邊界，並提出使用貝葉斯積分推斷的觀點來重新詮釋共形預測。換句話說，作者證明於特定的共形分數設計與核函數選擇下，共形置信區間可視作貝葉斯積分針對目標函數的置信區間。

技術上，本文應用高斯過程作為貝葉斯模型，用以描述對目標函數的信念，並建構相應的核函數來作為共形預測時的非符合性分數計算基底。透過此方法，能從貝葉斯後驗推斷中自動產生共形預測所需的校正分佈，有效消除一般共形預測中必須利用交換性假設的限制。這種等價關係的發現首次在理論上將頻率論與貝葉斯不確定性推斷融為一體。

此外，論文創新地提出一套具體的算法框架，使得在實際應用中，透過貝葉斯數值量化的手段運算共形置信區間成為可能。這顯著提升了共形預測對於結構複雜數據與模型的適應性，同時保證理論上的誠實覆蓋率（honest coverage）。更進一步，本研究將此框架推廣至多元維度與高階複雜函數積分問題，展示其在深度學習及貝葉斯優化等多領域的潛在效用。

主要實驗結果

作者在多組合成數據與真實資料集上，針對迴歸預測及積分估計問題進行廣泛實驗，驗證理論推導的有效性與實用性。實驗涵蓋標準迴歸基準如 Boston Housing、UCI 回歸數據集，並且在多維度高斯過程模擬場景下測試數值積分表現，做到細緻比較。

結果顯示，利用作者方法得到的共形置信區間不僅符合頻率論覆蓋率要求，且相較傳統貝葉斯數值積分方法，在樣本較少、模型先驗不夠精確時仍展現更穩健的置信區間寬度控制。此外，該方法在函數積分估計任務中取得較低的均方誤差，相較經典 Monte Carlo 積分與標準貝葉斯 quadrature 方法更具明顯效率。

更深入的消融實驗表明，核函數的選擇與共形分數設計對整體表現有顯著影響，亦證實提出方法能靈活嵌入不同核與學習問題中。實驗同時指出了在極端偏態分布與非交換性資料場景下，本方法依然維持極優的置信度覆蓋，顯著彌補傳統共形預測的不足。

對 AI 領域的深遠影響

這篇論文對 AI 不確定性估計領域奠定了全新基石，不僅提供了理論上融合頻率論與貝葉斯推斷的統一框架，也使兩大主流方法的優勢互補成為可能。由此帶來的啟示涵蓋以下幾個面向：

• 理論統一性：透過共形預測與貝葉斯數值積分的整合，建立了不確定性量化的新視角，促進後續對頻率論與貝葉斯法交叉學習與理論延伸。
• 實務可靠性：在機器學習模型部署面臨的安全與可信挑戰中，該方法能提供更加嚴謹且彈性的置信區間，特別是在資料稀疏或分布漂移狀況下仍具良好覆蓋率，有助強化 AI 系統的穩健性。
• 推廣性與應用廣泛：研究所提出的算法可廣泛應用於深度學習後驗推斷、貝葉斯優化、積分計算及強化學習等多種 AI 子領域，尤其適合數值積分與不確定性估計需求共存的場景。
• 促進多領域交融與創新：此研究架構將促進機器學習、統計學及數值分析領域三者的深度交流，有望孕育更多創新方法，推動 AI 理論與技術新一波躍進。

總結而言，Snell 與 Griffiths 的〈Conformal Prediction as Bayesian Quadrature〉不僅突破傳統方法疆界，還搭建起頻率論與貝葉斯推斷間橋梁，其理論與實踐創新為未來 AI 不確定性估計與計算可靠性注入強大動能。對於工程師與研究生，深入理解並掌握其背後理念與技術細節，將有助推進自身研發及學術研究，並應用於高階信賴度需求的前沿 AI 系統中。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228