行有餘力則以學文: Conformal Prediction as Bayesian Quadrature

2026年4月6日星期一

Conformal Prediction as Bayesian Quadrature

隨著機器學習技術在醫療診斷、自動駕駛、金融風險管理等高風險場域的應用日益廣泛，模型不確定性的量化成為保證系統安全與穩健性的關鍵。傳統的黑盒預測模型雖然能提供點估計，卻無法明確告訴使用者在未來部署環境中可能遭遇的誤差範圍。針對此一挑戰，作為一種無分布假設（distribution-free）的不確定性表示方法，保序預測（Conformal Prediction, CP）因其可在不依賴模型內部結構的情況下，給出群組級別的置信集合（confidence set）以及嚴格的頻率性錯誤保證（frequentist coverage guarantee），而受到廣泛重視。然而，保序預測基於頻率主義（frequentist）概率理論，限制了其在更廣泛且複雜場景中不確定性解釋的靈活性與豐富度。

在此論文中，Snell 與 Griffiths 重新審視了保序預測的數理基礎，從貝葉斯（Bayesian）的角度切入，提出一種嶄新的詮釋及擴展架構——將保序預測視為一種貝葉斯數值積分（Bayesian Quadrature, BQ）問題。典型的保序預測框架中，我們試圖對未知分布下的損失或殘差函數進行區間估計。而為了估計這類分布的特徵量，該論文指出，保序預測實質上等同於以貝葉斯高斯過程（GP）模型為先驗，對在驗證資料上計算的損失函數進行貝葉斯積分推理。此新視角突破了頻率主義的限制，種類不只是保證覆蓋率，而能夠提供一套可解釋、且反映不確定性本質的後驗分布結構。

研究背景與動機

保序預測的發展源自於頻率主義統計推斷，透過將測試樣本與歷史驗證資料一起排名，構造可覆蓋新樣本的預測區間。儘管這些區間確保了長期平均錯誤率低於預設門檻，但該保證往往假設資料是獨立同分布（i.i.d）且忽略了模型參數不確定性的內在結構。因此，在模型未知且環境因素多變的真實世界部署時，單一置信區間未必能充分反映誤差分布的詳細信息，尤其在場景異質性與資料分布漂移出現時，保序預測的頻率性保證與具體應用產生差距。

此時，貝葉斯方法以其天然的後驗推理框架能夠兼顧模型不確定性，自然地融合先驗知識與觀測數據，有效輸出受約束的概率分布。本文動機正是在探討如何透過貝葉斯數值方法重構保序預測框架，以同時獲得不依賴假設的健壯且具解釋性的預測不確定性表示。

核心方法與創新

核心創新是將保序預測問題轉換為以貝葉斯數值積分解決的機率推理問題。傳統保序預測關注損失函數的分布，試圖找到能以實際覆蓋率為基礎的分位數界限。作者將一次損失函數視為黑盒函數，利用高斯過程建模該函數，該 GP 充當一個概率分布上的先驗。不像傳統通過頻率分位數估計界限，該方法通過貝葉斯積分（Bayesian Quadrature）計算該函數在待測分布上的期望與其他統計量，從貝葉斯後驗視角得到測試階段預期損失及不確定性。

這裡的 Bayesian Quadrature 是一門結合數值積分與概率模型的技術，將積分視為一個隨機變數估計問題，透過高斯過程刻畫函數形狀和積分誤差。相比簡單頻率派的分位數界限估計，它提供了一種分布式且可更新的不確定性量化方式，能在有限資料下反映估計不確定性與損失函數的複雜結構。

作者針對保序預測提出了貝葉斯替代方案，稱之為“Bayesian Conformal Prediction”。該方法不僅保留原本頻率性覆蓋率的有利條件，也加入了後驗分布的豐富表達，能提供跨越損失函數全域的置信分布，而非單一界限。此外，此框架能自然整合先驗資訊，並能有效調節損失估計在新環境中的適應與泛化能力。

主要實驗結果

作者在多個合成及真實世界資料集上，包含迴歸任務與分類任務，詳細比較了頻率保序預測與所提 Bayesian Quadrature 方法的效能差異。實驗結果強調了幾個重要發現：

在有限樣本情況下，傳統保序預測的覆蓋區間保守且範圍較寬，難以精確反映測試損失的真實行為；而 Bayesian Conformal Prediction 透過後驗推斷給出更為緊湊且合理的預測分佈，能有效降低冗餘區間。
新方法提供了損失預測的完整後驗分布，工程師及決策者不只知道一個置信界限，更能因應後驗分佈特性進行風險評估與決策模擬。
在存在模型不確定性與測試分布漂移時，Bayesian 方法展現出更強的魯棒性與靈活調整能力，頻率保序預測因其假設限制易遭遇失效或過度保守的問題。

此外，論文亦分析了計算效率與實用性，證明所提出方法能在合理的計算資源下實現，且與現有保序預測方法能在不改變下游模型架構的前提下相容。