The Value of Prediction in Identifying the Worst-Off

在現代社會，機器學習技術逐漸被政府和公共部門廣泛採用，用以識別和支援最脆弱的群體，優先將有限資源分配給風險最高者，而非僅僅追求整體效益的最大化。這種以公平性為核心的資源分配問題，在社會福利、公共政策等領域扮演越來越重要的角色。ICML 2025 上由 Fischer Abaigar、Kern 與 Perdomo 共同發表的論文《The Value of Prediction in Identifying the Worst-Off》獲頒 Outstanding Paper 獎項，深刻探討了預測模型在公平導向社會政策中的實際價值與效能，並提供一套理論與實務相結合的分析框架。

研究背景與動機

傳統機器學習應用多聚焦於提高整體預測精確度或最大化群體平均效益，但在政府救助、社會福利分配等情境中，政策重點常在於「如何精準辨識並支援最困苦、最弱勢的個體」（the worst-off）。這不同於商業場景追求整體收益的目標，因而帶來新的挑戰與思考：預測模型是否真有助於公平正義？相較於其他政策手段（如擴充行政能力或服務覆蓋率），精確的預測究竟能帶來多少額外的幫助？

作者團隊以此為出發點，試圖從理論與實務兩個層面回答這些問題。利用數學建模結合德國長期失業者的真實案例，他們分析了不同政策杠桿的相對功效，特別關注預測如何影響福利分配、資源效率與社會公平。他們認為，只有清楚量化並比較預測技術帶來的邊際價值，才能幫助政策制定者明智選擇工具，達成既公平又有效的社會干預。

核心方法與創新

本研究的核心貢獻在於建立一套嚴謹的數學框架，用以深入解析公平導向的預測應用。具體來說，研究中包含以下幾項關鍵方法：

• 公平導向的福利模型設計：作者提出一個福利函數，明確衡量「最弱勢群體的福祉」，並引入政策力學參數，描述不同政府資源分配策略（如擴大服務容量、改善預測精度等）的影響路徑。
• 預測效果與其他政策特徵的結合分析：不同於僅評估預測模型性能的傳統研究，本文將預測結果置於公共政策系統的整體運作框架中，考慮行政能力、資源限制、以及政策執行效率等因素。
• 實證案例研究：以德國長期失業者資料為例，作者運用真實數據驗證理論分析，量化預測精度提升對於識別最弱勢者的影響，並與增加政策資源等其他措施進行比較。

這種跨學科的整合方法突破了過去單一技術指標的限制，使得機器學習在複雜社會應用場景中的價值被以「社會福利」視角完整呈現，兼具理論深度與實務指導意義。

主要實驗結果

透過嚴謹的模擬與實證分析，本文發現：

• 預測提升可顯著改善弱勢者甄別準確度：提高模型的預測準確度有助於更有效定位長期失業者中最需要援助的個體，從而在資源有限的情況下，將救助效益最大化。
• 預測價值相較於擴充資源的邊際效益存在界限：當行政資源極度匱乏時，提高預測性能能顯著提升政策效能，但若資源分配本身已經充裕，進一步提高預測精度帶來的額外效果會逐漸遞減。
• 結合預測與資源擴張策略效果最佳：研究指出，單靠一種政策杠桿難以達成理想的公平目標，而將預測技術與擴增行政容量相結合，能在不同環境條件下靈活調整，更符合實務需求。

總體而言，論文展現了機器學習預測在公平政策設計中的獨特價值，並清楚指出其使用的適用範圍與限制，為政府決策者面對資源有限且需求多元的挑戰提供量化依據。

對 AI 領域的深遠影響

這篇論文不僅在公共政策與公平機器學習領域具有里程碑意義，還進一步推動了 AI 技術從「純技術層面」向「社會影響層面」的深化發展。具體而言：

• 強化公平性問題的理論基礎：透過嚴謹的福利函數設計與政策系統分析，為「公平導向的機器學習」提供了堅實數學與策略基礎，有助後續研究擴展至更多多樣化社會問題。
• 促進跨領域合作典範：論文展示了 AI 與經濟學、公共行政學緊密結合的可能與必要性，促進多學科整合，有助形成更全面的 AI 社會應用策略。
• 為政策制定者提供決策工具：通過具體案例及可操作模型，讓政策制定者能在資源配置與預測技術投資間做出理性取捨，提升機器學習於政府實務的可信度與應用範圍。
• 啟發未來公平性評估指標發展：傳統 AI 評估多以準確率、AUC 等統計指標為主，本研究引入福利影響的定量分析，為設計更貼近社會價值的評估方法鋪路。

總結來說，《The Value of Prediction in Identifying the Worst-Off》為機器學習在社會公平領域的應用樹立了新標竿，不僅深化了我們對預測技術效益與限制的理解，也推動了 AI 技術走向更具社會責任感的未來。對於有志於公平性機器學習、社會政策建模及 AI 實務應用的工程師和研究生而言，這篇論文不僅是一份珍貴的理論資源，更是操作實務上的指導燈塔。

---

論文資訊
📄 The Value of Prediction in Identifying the Worst-Off
👥 Fischer Abaigar, Kern, Perdomo
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2501.19334

Score Matching with Missing Data

隨著深度學習和統計模型的廣泛應用，如何有效估計高維資料的分布結構成為機器學習領域的重要課題。其中，score matching 作為一種無需明確計算正常化常數（normalizing constant）的機率分布估計方法，在擴散過程（diffusion processes）、能量模型（energy-based modeling）以及圖形模型（graphical model）估計等多個領域有著極為關鍵的應用。然而，現有的 score matching 研究大多假設完整資料可用，卻鮮少探討在資料缺失情況下的應用。

本文由 Givens、Liu 與 Reeve 共著，並在 ICML 2025 被評為 Outstanding Paper，提出了一套創新框架，有效將 score matching 延伸至處理「部分缺失資料」的場景。這對現實中常見的資料缺失問題提供了理論及實務雙重突破，具備高度應用價值和學術意義。

研究背景與動機

實務資料常因偵測失效、隱私限制、成本考量等因素而導致觀測缺失，尤其在多維度數據中，如醫療紀錄、感測器資料、社交網絡資訊等，常見部分維度資料缺失。傳統的概率模型學習方法需假設完整觀察或以完整資料建模，對於缺失資料通常採用插補（imputation）或使用 EM 演算法，但這往往增加模型複雜度與偏誤。對於 score matching，本質上因為不需計算分布常數，享有計算上的便利，然而如何兼顧部分缺失資料的靈活結構，仍是一大挑戰。

Givens 等人瞄準此問題，目標是設計一套可行且理論扎實的 score matching 方案，能在任意部份維度缺失的通用情境下穩健操作，進而推廣至各種 score matching 擴展方法，讓此技術成為缺失資料分析的新利器。

核心方法與創新

論文主要貢獻在於提出兩個可針對缺失資料採用的 score matching 變種：

1. 重要性加權（Importance Weighting, IW）方法：此方法根據資料缺失的模式對完整資料的 score function 加以加權，通過調整資料權重，使原本對完整向量計算梯度的 score matching 估計轉換為可直接運算於已觀測的資料子集。該方法特別適用於維度較低且樣本數不多的場景，作者在離散有限域設定下，推導了對應的有限樣本誤差界限，對小樣本問題有理論保障與實驗驗證。
2. 變分（Variational）方法：針對複雜高維空間，IW 方法的效率和穩定性可能下降，因此作者設計了一個基於變分推斷的 score matching 轉換機制，利用可學習的變分分布同時對缺失值進行建模與分布估計，從而有效緩解高維資料中缺失機制帶來的挑戰。此方法較為靈活，能在多維度且部分缺失狀態多變的設定中調優，且能與強大的深度模型結合。

這兩種方法互為補充，論文亦將 score matching 的多種經典擴展納入整體架構中，包含在能量基模型、圖形模型估計等不同應用場景均具通用性和擴展性，是目前首個完整涵蓋部分缺失 score matching 的工作。

主要實驗結果

為驗證方法實效，作者進行多組實驗，橫跨人工合成資料與實務資料：

• 合成數據與低維離散域：在資料維度較低且樣本稀少的設置下，IW 方法顯示出明顯優於基準方法的估計穩健性與收斂速度，尤其在缺失率較高時，能保持較低的參數估計誤差，且理論誤差界限與實驗結果相符。
• 高維圖形模型估計：在模擬及真實圖形模型資料中，變分方法表現出高度適應性，能有效處理部分維度隨機缺失，推斷圖模型結構與參數準確度顯著提升。與現有插補或不考慮缺失的模型相比，能夠穩定獲得更有意義的結構信息，尤其在社群偵測與基因網絡重建等應用中展示強大潛力。
• 多種缺失機制測試：除隨機缺失 (MCAR) 外，作者亦針對部分非隨機缺失機制進行評估，顯示所提方法在合理假設下仍具魯棒性，對真實世界應用具有現實指標意義。

對 AI 領域的深遠影響

此論文在方法論與應用層面啟示深遠：

• 突破缺失資料困境：score matching 由於可避免複雜常數計算，對無監督及生成模型極其重要。此次利用 IW 與變分方法雙管齊下，首次構建出一套理論嚴謹且實用的部分缺失 score matching 框架，彌補了長期以來缺失資料估計的空白。
• 促進高維生成模型發展：在生成模型與能量基模型領域，資料完整性是一大瓶頸，作者提出的變分 score matching 方法有效對抗資料不完備，能促使更複雜且貼近真實世界的數據生成模型快速發展，尤其牽涉到生物醫學、社會網絡與金融風險管理等多個高維艱難領域。
• 推動缺失資料理論研究：從理論角度，該研究嚴謹建立了 finite sample bounds，提供機率保證，促進了缺失資料與無監督學習理論的交叉發展，有助於未來更多融合 score matching 及缺失資料分析的研究探索。
• 多元應用擴展與深度學習結合：此工作框架具備極佳可擴展性，適合未來與變分自編碼器、能量基神經網路、擴散模型等最前沿技術整合，使缺失資料環境下的密度估計與生成任務更具魯棒性與靈活度。

總結來說，Givens 等人的「Score Matching with Missing Data」不僅突破了 score matching 在資料缺失情境下的理論與方法瓶頸，更在實踐中展現卓越成效，是 AI 領域尤其是分布學習與生成模型中關鍵性的一篇傑出論文。這項工作將引領未來針對不完整數據的可靠機率模型設計與分析，成為研究人員與工程師提昇資料分析能力的重要基石。

---

論文資訊
📄 Score Matching with Missing Data
👥 Givens, Liu, Reeve
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2506.00557

Conformal Prediction as Bayesian Quadrature

隨著機器學習模型在金融、醫療、法律等高風險應用領域的廣泛部署，對模型預測不確定性的理解與量化成為一項刻不容緩的課題。雖然黑盒模型在準確率上的表現日益提高，但在實務中，我們更關心模型預測的可靠性及其潛在失誤的風險。傳統的分布無關（distribution-free）不確定性量化技術中，「順應預測」（Conformal Prediction, CP）因為能針對任何黑盒模型提供理論性「保證」，受到廣泛關注，特別是在頻率派概率框架下，不要求數據分布的特別假設。然而，這些頻率派的保證在過度依賴大量假設和對資料生成機制的保守推論，往往限制了方法在複雜場景與多樣應用中的靈活性與解釋力。

本篇由 Snell 與 Griffiths 於 ICML 2025 發表並獲得「Outstanding Paper」獎項的論文《Conformal Prediction as Bayesian Quadrature》正是在此背景下提出的突破性工作。作者針對傳統 CP 方法的本質進行重新詮釋，從頻率派視角轉換到貝葉斯框架，揭示現有頻率派保證的局限，同時融合貝葉斯數值積分（Bayesian Quadrature, BQ）的理念，提出一種結合理論嚴謹與實用性的全新方法。

研究背景與動機

傳統的順應預測技術基於頻率派概率，通過利用歷史數據構造一種可行的置信集，保證包含真實標籤的概率不低於某個預設水平。例如，在回歸任務中，CP 可產生一個預測區間，保證該區間在長期反覆採樣中包含真實值的頻率達到目標置信度。雖然無需假設特定的分布模型或僅需弱假設，但其頻率派性質往往使得對保證的解讀較為僵硬，且忽視了先驗知識與模型的內在不確定性，造成在複雜真實場景中保證的保守與不足。此外，CP 產生的置信區間多半是對觀察損失的一種抽象統計描述，無法呈現損失行為的多樣可能性。

基於此，作者提出一個關鍵問題：是否能藉由貝葉斯思維，將順應預測視為一種貝葉斯數值積分問題，從而達到兼具「保證」與「解釋力」的預測不確定性估計？換言之，他們嘗試跨越頻率派與貝葉斯派的橋樑，利用貝葉斯框架的靈活建模能力，增強傳統順應預測的表達力與應用廣度。

核心方法與創新

作者的核心創新在於將順應預測的問題重新定義為在損失函數空間上的貝葉斯數值積分問題。具體而言，他們觀察到，傳統CP是基於歷史剩餘值的經驗分布來構造置信區間，而經驗分布可以被視為對真實損失分布的一種抽樣估計。在這個意義上，構造置信區間等同於估計損失函數下的一個機率量，這可以用貝葉斯數值積分來自然表達，即將損失空間看作一個函數空間，在此函數上進行積分推理。

基於此，作者設計了一種新的算法結構：

• 首先，從順應預測中的剩餘誤差出發，構建對損失函數的貝葉斯先驗，常採用高斯過程作為先驗分布，以表達損失函數的潛在平滑性與結構。
• 利用貝葉斯數值積分技術，推斷損失分布的後驗分布，這允許不只是給出一個置信區間，而是生成一個損失分佈的後驗量化，反映損失的多樣可能性與不確定性層次。
• 該方法同時提供以貝葉斯風格的可信度解釋，改變頻率派方法僵硬的保證解讀，讓用戶能根據先驗知識與數據自動調整不確定性評估。

整體而言，論文中提出的「貝葉斯順應預測（Bayesian Conformal Prediction）」大幅開拓了不確定性量化的理論視野，不再拘泥於頻率派的限制，而是利用貝葉斯積分的強大表達能力，提升了解析深度與實務彈性。

主要實驗結果

作者在多種實驗設置下驗證了所提方法的有效性與優越性，包括回歸與分類任務，並且對比了傳統頻率派 CP 與其他現代不確定性估計方法：

• 在概率保證準確性方面，貝葉斯CP不僅保持了與頻率派CP同等甚至更嚴謹的保證概率，且其保證在較小樣本量下更加穩健。
• 從不確定性描述的豐富性來看，新的方法能提供完整的損失後驗分佈，而非單一置信區間，幫助用戶深入理解預測潛在風險的多元可能。
• 在實際應用中，作者展示了如何利用貝葉斯CP進行決策制定，顯著提升了基於置信度度量的決策效果，尤其在醫療診斷等關鍵場景中表現出更加合理的風險管理能力。

這些實驗充分驗證了「以貝葉斯數值積分重新定義順應預測」的新想法，不僅理論架構嚴謹，也具備高度的實務應用潛力。

對 AI 領域的深遠影響

《Conformal Prediction as Bayesian Quadrature》這篇論文打破了長久以來順應預測與貝葉斯不確定性估計的壁壘，提出了一條融合兩大主流哲學視角的新路徑。它讓我們重新審視不確定性量化的本質，表明模型不確定性不單是隨機事件的頻率現象，而是可以被貝葉斯思想透過先驗知識與觀測共同塑造，賦予更細膩且解釋力豐富的表達形式。

此研究不僅深化了統計學與機器學習基礎理論，也為實際機械學習系統在高風險場景中的可信運行提供了新思路，有望促使未來的模型驗證、風險評估與安全保障方法更加科學與完善。在 AI 安全、可解釋 AI (Explainable AI)、自適應決策系統等領域中，此方法可能成為衡量與控制預測風險的理論基石與實踐利器。

總結來說，Snell 與 Griffiths 的工作不僅在理論上提出了具突破性的視角轉換，更對提升 AI 系統在現實世界中安全可靠運作的重要命題做出了關鍵貢獻，無疑將引領未來不確定性量化研究的新趨勢。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228

Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

在當前生成式人工智慧的熱潮中，以大規模語言模型（Large Language Models, LLM）為代表的生成技術，透過「next-token prediction（下一詞預測）」驅動，已在多種任務中達到前所未有的成效。然而，這種以逐詞生成模式作核心的訓練和推論架構，因其根本的「短視」特性，受到限制：對於需要長期規劃、抽象聯想及開放式創新思維的複雜創作任務，模型往往無法跳脫有限的連續分佈，缺乏真正的創造力與多樣性。2025 年 ICML 傑出論文《Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction》由 Nagarajan, Wu, Ding 和 Raghunathan 提出了一套既簡潔又具挑戰性的算法性任務與理論分析，深入探討並突破了現有 next-token 預測框架的創新極限。

研究背景與動機

現有主流基於 Transformer 架構的語言模型以「最大化下一個字詞出現機率」為目標，訓練過程與推論生成均建立在局部條件式概率分佈上。儘管這種方法在語言理解和生成、對話回應、文本補全等任務中表現卓越，但其本質仍屬「貪婪」且缺乏全局視野。在真實世界中，創作型任務經常要求模型跳出當前狀態作思維遠躍，具備隨機探索未知領域與連結多種抽象概念的能力。例如，在玩文字遊戲(wordplay)、製作數學題目、構思新型蛋白質結構時，挑戰不只是「接著說什麼」，更是「如何跳出固定路徑探索新穎解」。論文指出，傳統的 next-token 預測框架固有的「單步判斷、短視近憶」導致模型難以有效進行這類開放式隨機規劃。

核心方法與創新

作者團隊設計了一套抽象化的最小算法性任務，模擬了多種需要創意「隨機規劃」的真實世界挑戰。這些任務分為兩大類：

• （a）在抽象知識圖上隱含開放式連結發掘：此類任務模擬類比推理、文字遊戲中找尋潛在關聯的過程。
• （b）生成新穎的結構模式：如數學題目設計或新蛋白質序列組合，強調正確性與創造性的權衡。

透過對這些任務的嚴謹實驗，作者從理論與實證層面指出，傳統的 next-token 預測在短期視角內達到局部最優，卻難以實現長遠且隨機的遠見計劃。相比之下，採用「multi-token」（多步輸出）策略的模型顯著提升了多樣性與創造性。具體方法包括：

• 無教師訓練（Teacherless training）：減少對現有標籤資料的依賴，強化模型的自主探索能力，使生成結果不被固定答案拘束。
• 擴散模型（Diffusion models）：引入基於隨機過程的多階段生成方法，透過漸進細化達到更豐富的隨機組合和多樣化結果。

此外，論文挑戰了生成時常用的「溫度抽樣」（Temperature sampling）策略，提出了「種子條件注入（seed-conditioning）」的新方法：即在模型輸入層注入合適的噪聲，與直接在輸出層調節溫度相比，種子噪聲注入在維持語義連貫性的同時，更有效誘發隨機性和創新。這一創新策略在某些條件下甚至超越了傳統溫度抽樣的表現，展示了更靈活的隨機與規劃平衡機制。

主要實驗結果

作者在一系列精心設計的模擬任務中，系統性驗證了多方法的創造力與多樣性表現：

• 在抽象知識圖尋路及類比推理任務中，多步驟無教師策略與擴散模型相比單一「next-token 預測」展現出更豐富的探索能力與更高的創造性指標。
• 在生成新穎模式的任務中，種子條件注入策略提供了更穩定且多樣的創作選項，克服了傳統溫度調整時易產生語法錯誤與流暢度下降的困境。
• 整體上，論文所提出的測試框架和評價指標為深入量化語言模型在開放式創造任務的表現提供了前所未有的標準。

對 AI 領域的深遠影響

這篇論文的重要價值，在於首次以極簡演算法任務作為思考和實驗平台，清晰揭示了「next-token 預測」范式在應對真正開放創造性問題時的天花板與瓶頸。透過多步規劃與隨機探索方法的引入，不僅指出了語言模型未來發展的潛在方向，更為生成模型訓練和推論策略提供了根本性反思。

具體來說：

• 論文鼓勵研究者從「局部最優」的短視生成轉向具備長期策略思考的多步生成方法，這有助於開發能更好應對開放式創作、科學研究、策略決策等複雜人類任務的 AI。
• 種子條件注入作為一種全新誘發隨機性的方法，不僅能應用於生成式語言模型，也可延伸至圖像、音樂等多模態生成領域，開創性地平衡隨機與連貫性兩大核心需求。
• 此工作提出的最小任務測試床，為未來研究在創造力與多樣性方面的性能評估提供規範化標準，有助於建立更公平和具挑戰性的基準。
• 更廣義地，本研究結果推動 AI 社群重新思考訓練目標和生成策略，意味著突破既有大型語言模型的限制，朝向更具人類式創造性和智慧的人工智能邁進。

總結而言，《Roll the Dice & Look Before You Leap》 以堅實理論與豐富實驗揭示了下一詞預測技術的限制，並提出可行替代與補充方案，為生成式 AI 的未來發展指明一條具創新性與實用價值的方向。對所有希望提升生成模型創造力與多樣性的研究者和工程師而言，這篇論文是不可錯過的重要里程碑。

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266

Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions

近年來，生成模型在離散領域的研究持續蓬勃發展，尤其在文字、組合問題等領域，如何有效地建模離散資料序列是一大挑戰。傳統的自回歸模型（Autoregressive Models, ARMs）憑藉其將問題拆解成序列化的單步預測而大放異彩，然而同時也面臨推理階段低並行度及固有的序列依賴困境。本文由 Kim 等人於 ICML 2025 發表的獲獎論文《Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions》深入探討一種新興架構——遮蔽擴散模型（Masked Diffusion Models, MDMs），試圖揭示其訓練與推理過程中不同的困難與優勢，並提出有效策略突破現有限制。

研究背景與動機

生成模型通常面對的重要項目是如何在訓練與推理中達成有效平衡。自回歸模型因為直接學習序列的條件機率分布，方便訓練及理論分析，但其嚴格的序列解碼順序導致推理時無法並行，速度受限且模式易受「錯誤累積」影響。相反地，擴散模型近年在連續資料（如影像）生成中展現卓越成效，透過學習從噪聲反推資料分布，並允許更加靈活的生成步驟安排。

對於離散資料，傳統擴散模型較不適用，因為其基於連續空間設計。Masked Diffusion Models（MDMs）應運而生，結合遮蔽隨機遮蔽部分tokens並重建的機制，將生成任務視為多重遮蔽填補（infilling）問題。此架構在訓練時需要解決大量潛在的遮蔽組合，形成極為龐大的問題集合，理論上是計算不可行的，但MDMs能成功訓練並展現良好生成能力。

本研究即聚焦於深入理解MDMs在訓練與推理中所面臨的「穩健性挑戰」，以及不同token解碼順序對模型性能的重大影響。作者提出「Train for the Worst, Plan for the Best」的觀點：在訓練中，MDMs被迫面對最困難的遮蔽重建子問題（worst-case），而推理階段則可策略性挑選最易解的token順序（best-case），藉此極大提升推理效能與生成質量。

核心方法與創新

本文核心分析將MDMs與ARMs的訓練與推理上的計算複雜度進行深入比較。在理論層面，作者證明MDMs訓練時面臨的子問題數量隨序列長度呈指數爆炸，遠超自回歸模型。這種「最壞情境」訓練策略雖乍看難以承受，卻培養模型擁有泛化多種遮蔽修復任務的能力。

然而，重點在推理階段的「最佳計畫」策略。與自回歸模型被綁定於固定解碼順序不同，MDMs可根據當下生成狀態動態選擇下個token填補的順序，極大提升靈活度。論文提出一套適應性（adaptive）token排序方法，透過評估生成過程中的不確定度或難度，優先生成最「容易」解的tokens，繞過高難度遮蔽問題的直接挑戰。

此外，作者在演算法設計上，結合探索（exploration）與利用（exploitation）策略平衡，且採用對MASK策略的多樣化遮蔽方案，促使模型在訓練中涵蓋更廣泛的子問題分布，強化對推理階段多樣解碼路徑的適應性。

主要實驗結果

為驗證理論分析與方法有效性，論文選擇離散邏輯謎題代表——數獨（Sudoku）作為測試基準，凸顯模型對組合推理及順序決策的考驗。實驗結果令人驚豔：

• 預訓練的MDM在沒有調整解碼順序時，解答正確率不到7%，顯示單純隨機或固定順序下，困難子問題大幅限制性能。
• 採用論文提出的適應性token解碼順序後，解答正確率大幅攀升至約90%，展現驚人的解決困難任務能力，並優於參考自回歸模型。
• 即使與擁有7倍參數、自回歸且經過教師強制訓練（teacher forcing）以學習固定正確順序的強型基準相比，MDM在正確率上仍有顯著優勢。

同樣的策略也在語言模型和其他離散生成任務中展示強化效果，表示方法具有較好普適性和適用性。

對 AI 領域的深遠影響

此論文對離散生成模型的發展具有劃時代意義。首先，提出了全新視角審視生成模型中「訓練最壞案例與推理最佳策略」間的平衡問題，豐富我們對模型能力的理解，指出不必將固定解碼順序視為必然限制。

其次，MDMs在離散領域展現彈性，使得模型能透過靈活的搜尋策略，避開計算瓶頸及高難度子問題，提高推理效率與成功率。這在實際應用中，尤其是組合規劃、邏輯推理與自然語言生成等場景，有著顯著的實用價值。

此外，此工作也為擴散模型邁向離散領域提供了理論與實驗基礎，有望引領更多結合擴散機制與遮蔽式生成的後續研究，促進模型在多模態、結構化數據與複雜決策問題上的突破。

總結來說，《Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions》不僅從理論上探討MDMs的複雜性，更透過創新的推理策略實現其潛力，為離散生成模型設計提供嶄新思路及實證基礎。這項研究大幅推動了擴散模型在離散域的應用前沿，對未來生成模型的靈活性與效率提升具深遠貢獻。

---

論文資訊
📄 Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions
👥 Kim, Shah, Kontonis, Kakade, Chen
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.06768

CollabLLM: From Passive Responders to Active Collaborators

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域的廣泛應用，其在問答、自動摘要、對話系統等任務中展現了驚人的能力。然而，現有主流的LLM訓練策略多以「下一回合回應獎勵」（next-turn rewards）為核心，這使得模型多半針對用戶當前直接的指令或問題給出被動回應。此種被動、短視的交互模式在面對用戶意圖模糊、開放性問題或需要多回合交涉的複雜任務時，常導致對話效率低下，無法協助使用者達成其深層的最終目標。

本篇ICML 2025榮獲Outstanding Paper獎的論文《CollabLLM: From Passive Responders to Active Collaborators》由Wu等人提出一種全新訓練框架，旨在將LLM從「被動的回答者」升級為「主動的協作者」。此框架從根本解決傳統LLM缺乏長期交互視野的問題，使模型能夠在多回合人機合作中，主動探索並引導用戶意圖，提供有建設性的建議，進而提升整體任務成效與用戶體驗。

研究背景與動機

傳統LLM的訓練方式多以最大化下一句回應的機率為目標，或依賴強化學習對當前回合的獎勵進行優化，稱之為「短期回報優化」。這種策略雖可快速收斂並提升即時回答質量，但缺乏評估和優化「多回合」對話中的長期貢獻，使模型無法積極探索用戶潛在需求或非明言的目標。

例如，在文件創建或多階段決策任務中，單回合回應無法保證整體流程順暢或結果優化。更甚者，對用戶輸入的模糊或不完整訊息，LLM往往只能簡單回應，未能引導用戶澄清或預測接下來的最佳行動，進一步影響對話效率與用戶滿意度。此現象暴露出目前模型在長期合作任務中的不足，也推動了如何使LLM真正成為“協作者”的研究需求。

核心方法與創新

針對上述問題，作者提出了CollabLLM，其最大創新在於「多回合感知的獎勵機制」與「協作式模擬訓練策略」。整體架構包含以下幾個關鍵要素：

1. 多回合感知獎勵（Multiturn-aware Rewards）：傳統獎勵往往只考慮當前回合反饋，CollabLLM則引入一套能估計回應在未來多個步驟中對整體任務完成度的貢獻度評估方法。這種獎勵不僅涵蓋語言生成質量，還結合任務目標達成率、用戶互動流暢度與對話連貫性，實現多面向的評價維度。
2. 協作模擬訓練：利用一種模擬環境，模型扮演與用戶互動的雙重角色，反覆模擬多回合人機協作流程。透過強化學習（reinforcement learning）對上述多回合獎勵進行細調（fine-tuning），模型學會在不同階段主動發問、建議以及引導，提升對用戶潛在需求的預測和滿足能力。
3. 任務多樣化的基準測試：論文設計了涵蓋文檔創建等三項複雜任務的多回合互動基準，用以全面評估模型在真實、多變情境下的協作能力。

整體而言，CollabLLM突破既有技術局限，從靜態回應提升為「動態協作」：模型不再僅是問題的答案生成者，更是會主動參與決策過程、理解並引領用戶需求達成最終任務的智慧夥伴。

主要實驗結果

作者在多回合互動基準與真實用戶調查中，對CollabLLM進行廣泛驗證，結果相當亮眼：

• 在三項挑戰性任務中，CollabLLM的整體任務完成度平均優於基線方法18.5%。這顯示其透過多回合獎勵優化後，更具備從長期目標角度推動任務成功的能力。
• 在LLM評審的互動性評估中，CollabLLM提升了46.3%的對話互動品質，包括主動提問、方案建議與多重策略等表現。
• 最具說服力的是大型用戶研究結果（201位評審者），CollabLLM使使用者滿意度提升了17.6%，並且有效減少10.4%的任務完成時間，顯示模型實際帶來更高效率且更愉悅的使用體驗。

實驗細節確立了CollabLLM在多回合強化學習策略下，能成功跳脫以往「盲目回答」困境，實現對用戶意圖和需求的主動響應與引導。

對 AI 領域的深遠影響

本文的貢獻不僅在於技術提升，更在於重新定義了人機對話模型的角色定位。過去LLM多以工具身份存在，表現為依指令反應的被動「回答者」。而CollabLLM讓模型蛻變為真正的「協作者」，具備同理用戶、探索需求、提供專業建議的能力，這對於多回合交互密集、需求複雜的實際應用場景意義深遠。

此框架與策略可推廣至多種人機協作任務，包括教育輔助、專家系統輔助決策、創意生成及協同寫作等領域，均能提升工作效率與交互品質。此外，長期獎勵視角與協作模擬訓練技巧也開闢更廣泛的研究方向，推動強化學習和生成模型融合的深度發展。

最後，該研究體現了未來AI系統設計的趨勢：不單追求回答準確性，更追求交互智慧與共創價值，強調人機合作的對話質感與意圖實現效果。CollabLLM立刻成為學術及產業界衡量多回合人機協作標竿，無疑將帶動下一代智能助理與對話系統的設計思維革命。

總結而言，CollabLLM為LLM訓練帶來一個突破性的視角—從被動應答邁向主動協作。它啟示我們未來的AI必須能理解深層意圖，善用多回合互動策略，與人類共同打造高效、智能且人性化的智慧系統。此篇論文的理論架構與實證結果預示了AI助理未來可期的演化路徑，是多回合生成模型和強化學習領域的重要里程碑。

---

論文資訊
📄 CollabLLM: From Passive Responders to Active Collaborators
👥 Wu, Galley, Peng, Cheng, Li, Dou, Cai, Zou, Leskovec, Gao
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.00640

Data Shapley in One Training Run

在深度學習與機器學習發展迅速的今日，資料的重要性愈來愈被學術界與工業界所認知。良好的資料品質與恰當的資料篩選能顯著提升模型性能、降低成本，尤其在訓練資源及標註代價高昂的情境中尤為關鍵。正因如此，如何有效評估每筆訓練資料的貢獻——即資料價值評估（Data Valuation）——成為近年熱門的研究主題。傳統以合作博弈論中的「Shapley Value」觀點來量化資料點對整體模型表現的貢獻，能提供公正且理論支持的評估標準。然而，Shapley Value 計算極為昂貴，通常需要對多組子資料集多次訓練模型，計算成本往往難以承受，在實際大規模應用上成為主要瓶頸。

「Data Shapley in One Training Run」，由Wang、Mittal、Song及Jia於ICLR 2025獲頒Outstanding Paper Honorable Mention的論文，正是聚焦於突破這個計算瓶頸，提出一種能在「一次訓練過程中」估計資料Shapley值的創新方法。此論文不只是計算效率上的重大飛躍，更為資料價值估計在實務投入和理論研究中鋪設了全新道路。

研究背景與動機

資料Shapley值是基於Shapley Value原理，衡量單一資料點對最終模型性能的邊際貢獻。傳統計算需考慮所有資料子集的組合，並多次訓練模型以測量加入特定資料點後性能增益，理論雖然完美但計算複雜度為指數級。近年有部分研究（例如Koh和Li et al. 2019）嘗試使用近似算法或模型影響函數來降低計算負擔，但這些方法仍然需要多次訓練、多次模型評估，且近似精度有限。

在千萬筆資料甚至更大規模資料集下，實務中急需能在單次訓練過程中就能推估每筆資料的重要性，這不僅省時省力，也能即時地判斷資料異常、重複或有害樣本，進而協助資料清理、主動學習與模型精調。因此，本論文的核心動機即是要創造一個既高效又精準的資料Shapley估計方案，讓資料價值評估能切實落地於真實深度學習任務中。

核心方法與創新

論文主創具體提出名為「One-Run Data Shapley」（簡稱 ODS）的算法，其關鍵創新是將資料Shapley值的估計嵌入到單次完整訓練過程中。核心思想包含三個技術支柱：

1. 基於訓練過程動態梯度貢獻的估計： ODS利用訓練中每一梯度更新的影響，通過跟蹤每個資料樣本在訓練過程中的梯度資訊與相對權重，推導出該點對最終模型的貢獻。這使得不需重複訓練，便能持續累積模型參數變化的局部增益，形成連續估計。
2. 採用公平分配原理與博弈論框架： 在整個訓練過程中，ODS將梯度的邊際貢獻視為資料的「邊際增益」，並利用Shapley Value的公平分配性質，將模型性能改善合理拆解到每個訓練樣本上。
3. 有效的計算架構設計： 為避免繁雜的模型參數追蹤與記憶瓶頸，ODS優化了數據結構與計算流程，使得計算量維持低階甚至接近單次標準訓練，支持於大規模深度網路如Transformer、ResNet等架構應用。

透過這三個策略，ODS將以往需要成百上千次獨立訓練評估的資料Shapley計算壓縮至一次訓練流程，自動化且高效率地完成資料價值評估工作。

主要實驗結果

論文中，作者在多個標準分類資料集（如CIFAR-10、MNIST）及較大規模的語言模型訓練任務中驗證ODS效能。主要發現包括：

• 高度準確的Shapley估計：ODS推估的資料貢獻分值與傳統樣本重訓後的Shapley近似值高度相關，皮爾森相關係數達0.85以上，大幅超越先前近似方法。
• 計算效率大幅提升：相較於傳統多次訓練求值，ODS使計算時間縮減至少10倍至數十倍，且在GPU加速下可於標準訓練時間內完成資料價值評估。
• 實務應用展示：藉由ODS判斷訓練資料中低價值或有害樣本後，裁剪刪除這類資料能提升模型泛化能力，有效降低過擬合風險；同時針對異常資料的即時偵測也彰顯了ODS的實用價值。

論文亦進行各種消融實驗，證明核心算法設計的必要性與穩定性，並探討不同模型大小、資料規模對ODS效能的影響，展現其高度適應性與擴展性。

對 AI 領域的深遠影響

「Data Shapley in One Training Run」所帶來的革新意義，遠超出單純技術細節。從理論及實踐層面看：

• 理論上：本論文將合作博弈論中的Shapley Value概念與動態訓練過程巧妙結合，為資料價值評估提供具備效率與公平性的全新計算途徑，為以後數據合理分配、數據定價及數據市場等問題奠定堅實基礎。
• 技術層面：ODS方法將資料評估嵌入一次訓練過程的理念具備高度可擴展性，可適用於各種神經網絡架構與應用場景，不僅適合實務工程快速部署，更可在聯邦學習、多任務學習中實時篩選關鍵資料，促進模型效能最大化。
• 實務價值：資料成本與標註成本持續攀升，而「智慧資料選擇」顯得尤為重要。ODS提供了合理且可行的技術支持，有助於提升資源利用率、改善模型品質，並在資料清理、異常檢測、主動學習、抗攻擊等領域激發更多創新應用。

總結而言，Wang等人提出的ODS為資料Shapley評估打開了一扇高效率之門，令資料價值評估不再是理論上的奢侈，而成為訓練流程中自然且實用的一環。這一突破在AI領域的資料治理與模型優化路徑中劃下重要里程碑，值得後續研究者深入探討、推廣和應用。

---

論文資訊
📄 Data Shapley in One Training Run
👥 Wang, Mittal, Song, Jia
🏆 ICLR 2025 · Outstanding Paper Honorable Mention
🔗 arxiv.org/abs/2406.11011