Conformal Prediction as Bayesian Quadrature

在機器學習逐漸被應用於醫療診斷、金融風控、自動駕駛等高風險領域時，如何衡量模型的不確定性與預測風險，成為確保系統可靠性和安全的關鍵課題。其中，機率性的預測區間或不確定性量化技術常被採用，以提供使用者有關預測結果可信度的具體指標。傳統上，無母數（distribution-free）保證的保形預測（conformal prediction），因其不依賴於資料分布假設且可套用於任意黑盒模型，成為業界與學術界很重要的不確定性校正工具。

然而，儘管保形預測能夠在頻率論（frequentist）架構下提供「無條件」的錯誤率控制保證，但此種頻率論視角卻有其限制：其保證只是在無限重複採樣抽樣的概念框架下成立，對於單次預測任務本身不一定提供直觀的概率解釋；且缺乏建模未來觀測誤差分布的靈活性，限制了保形預測方法在更廣泛上下文中的應用。如何跨越傳統頻率論方法，建立具備理論嚴謹性又同時有解釋性且彈性的推論工具，成為本論文的核心動機。

本文由Snell與Griffiths於ICML 2025發表，並獲得傑出論文獎（Outstanding Paper），針對保形預測的理論基礎進行了嶄新的詮釋與擴展，他們提出了一套全新的觀點──以貝葉斯積分（Bayesian Quadrature，BQ）方法重新詮釋保形預測的機理。該方法不只架構在貝葉斯機率論基礎上，而且能融合貝葉斯推斷的先驗知識與隨機性推估，將預測損失看作待估計的隨機積分問題，從而帶來更具解釋力且靈活的誤差風險度量。

研究背景與動機

保形預測旨在建構一種能保證模型涵蓋真實標籤的預測區間或集合，且此保證在「任何資料分布」下皆可成立。然而，目前的保形預測理論框架嚴重依賴頻率論的「重複抽樣」視角，給出的保證是「長期頻率意義」的，而非「單次任務的可信度」。換言之，頻率論保證的解釋上難以回答「這次」預測區間的置信程度。此外，頻率論對「保證」本身的意義十分字面且嚴格，導致保形預測必須在多種假設及技術細節上進行調整才能對不同應用有所適應。

另一方面，貝葉斯方法則擅長以後驗機率解釋不確定性，並利用先驗分佈和樞紐觀測更新信念，直觀且靈活。貝葉斯積分作為蒙地卡羅方法的貝葉斯替代方案，利用高斯過程作為隱藏函數的機率模型，有效估計複雜函數積分的分佈，且能自然提供不確定性量化。將保形預測嵌入此種框架，不僅能打破頻率論的限制，也能透過貝葉斯推斷捕捉損失分布的完整形狀，達到更深層次的不確定性分析。

核心方法與創新

本論文的核心貢獻在於重構保形預測的數學與概念基礎。作者發現，保形預測產生的「涵蓋區間」本質上可以看作是對模型損失函數在未知測試資料分布下的積分估計問題。換言之，損失函數對資料點的平均值（期望損失）是我們希望準確把握的量，而保形預測的頻率論保證則是試圖在頻率意義下控制這種積分的上下界。

針對此觀點，作者以貝葉斯積分作為理論基礎，建立了一個新的框架：首先將模型損失函數視為潛在的隨機函數，採用高斯過程建模其空間結構和相關性；接著使用貝葉斯積分技術，基於校正集（calibration set）中觀測到的損失值，推斷出潛在損失均值的後驗分布。這種方法允許直接建模損失的「不確定性」，並且能給出明確的後驗可信區間，這些區間在具體測試分布下具有更自然的解釋。

與經典保形預測相比，該方法的具體優勢包括：

• 解釋性增強：後驗分布的形式使得使用者能理解損失的可能範圍與分布形狀，而非僅局限於覆蓋率數值保證。
• 彈性更強：可納入先驗知識和假設，並能針對不同損失函數與模型適應性調整。
• 理論視角更豐富：揭示頻率論下保形預測保證的限制，同時為後續基於貝葉斯方法的不確定性估計研究提供框架基礎。

主要實驗結果

作者在多個標準迴歸和分類資料集上，對比了傳統保形預測與本方法（使用貝葉斯積分校正的保形預測）在不確定性估算方面的表現。結果顯示：

• 在嚴格控制覆蓋率的前提下，貝葉斯積分方法產生的預測區間更具適應性，區間寬度更符合真實誤差分佈的波動。
• 傳統保形預測的保證較為保守，區間往往過寬，導致推論力不足，而新方法則達到更精確且資訊豐富的預測區間。
• 新框架能有效融合背景知識，當先驗合理時顯著提升性能。
• 在測試資料分布發生轉移的情境中，貝葉斯積分方法能更靈活調整損失估計，降低覆蓋失準的風險。

整體而言，實驗驗證了理論分析的有效性，也展現了本方法對實際應用挑戰的良好適應性與潛力。

對 AI 領域的深遠影響

本論文的貢獻不僅在於提出了一套嶄新的理論框架，更在於催生了保形預測與貝葉斯不確定性量化的跨界方法學的融合。這種融合體現了現代機器學習領域內對可靠性與可解釋性不斷提升的需求，尤其在高風險或者安全敏感的場景下。

以往保形預測的頻率論限制有時會使其不易直接應用於複雜場景，而透過貝葉斯積分的視角，研究者和工程師可以在保證理論嚴謹性的同時，得到更為豐富且直觀的不確定性資訊，進而支持決策制定與風險評估。這為未來基於後驗不確定性的預測系統設計提供關鍵啟示。

此外，本研究所提出的方法及其理論框架，有望推動：

• 在多元複雜模型中更有效的誤差與不確定性推估技術，特別是結合黑盒深度學習模型與解釋式模型的混合架構。
• 開發出更具適應性與可擴展性的風險控制機制，配合在線學習或分布變化情況。
• 促進貝葉斯推斷與頻率論保證的融合研究，尋找更普遍有效的統計推論基礎。

綜上所述，Snell與Griffiths的《Conformal Prediction as Bayesian Quadrature》不僅突破了保形預測的傳統範式，亦為機器學習中的不確定性量化領域注入嶄新動能，無疑將影響未來對可靠AI系統設計與分析的方法論發展。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228