Score Matching with Missing Data 深度解析

隨著人工智慧技術不斷進步，數據驅動的方法在各個領域扮演舉足輕重的角色，而在機器學習中，分布學習（distribution learning）是理解與建模資料生成機制的核心。傳統上，score matching作為一種無需歸一化常數即可學習概率模型的技術，因其在擴散模型（diffusion processes）、能量基模型（energy-based models）及圖形模型（graphical models）估計等方面展現高度潛力，成為研究熱點。然而，現實世界數據往往不完整，存在缺失值（missing data），使得分布估計變得挑戰重重，現有的score matching準則在面對缺失數據時幾乎缺乏系統性解決方案。

本論文《Score Matching with Missing Data》（Givens, Liu, Reeve，ICML 2025榮獲Outstanding Paper獎）精準切入這一研究空白，提出一套通用且具理論保證的框架，成功將score matching方法適應於多數據維度任意位置的缺失情況，為應對實務中普遍存在的數據不完整挑戰，開啟新思路。

研究背景與動機

Score matching最初由Hyvärinen提出，通過最小化數據分布與模型分布的梯度（score function）間差異，避免了計算難以處理的歸一化常數，尤其適用於能量基模型。此方法在隨機微分方程、生成模型等領域都有廣泛應用。不過，當數據存在缺失，直接計算score function梯度變得困難，因為缺失部分的特徵值無法直接取得，導致score matching目標函數無法正常估計。

現有方法多倚賴完全數據或利用插補(imputation)等間接策略，但這些方法或缺理論支持，或在資料多樣性與高維空間下效果不佳。因應此挑戰，作者著手設計兩套方法：一是重要性加權(Importance Weighting, IW)方案，二是變分(Variational)近似方案，兩者可互補應對不同場景，以彈性且穩健的方式處理任意形式缺失。

核心方法與創新

1. 重要性加權（IW）方法：此方法針對缺失數據的score matching目標函數，提出使用重要性加權技巧來校正因缺失造成的偏差。具體來說，對於觀察到的部分變量，作者利用對觀察值條件分布的估計權重，調整score function的計算，使得整體目標依然是無偏估計。此方法具有明確的理論保證，包括在有限樣本條件下的誤差界（finite sample bounds），能保障在有限離散空間中基於有限樣本的估計一致性及收斂速度。

2. 變分近似方法：當數據維度高，缺失模式複雜且樣本數充足時，IW方法的計算代價及方差可能較大。作者因此引入變分推斷技術，通過設計合適的變分分布來近似缺失部分的後驗，將score matching目標轉化為一組可微分且穩定的目標函數。此方法不僅能自然地整合不同缺失掩碼（mask）資訊，更可藉由黑盒變分推斷擴展至複雜分布與高維圖形模型中，維持計算效率與估計精度。

創新點總結：

• 首開先例全面考慮score matching在任意缺失模式下的理論化處理。
• 提出兩套相輔相成的方法，涵蓋低維有限樣本及高維複雜結構場景。
• 導入重要性加權及變分推斷兩大機制為score matching缺失問題提供實務可行解。
• 證明IW方案具樣本誤差控制界，驗證理論嚴謹性。

主要實驗結果

作者的實驗涵蓋多種典型問題與數據集：

• 小樣本、低維度場景：透過合成數據和多項分布，測試IW方法在缺失比例變化下的穩健性與精確性。結果顯示IW方法在有限樣本下的估計誤差顯著低於傳統插補或忽略缺失的baseline，重點體現理論預測的有效性。
• 高維圖形模型估計：在模擬社交網絡或基因調控網絡等複雜結構中，使用變分方法估計條件依賴結構及node-wise分布。實驗不僅展示其優於常用EM或馬可夫鏈蒙特卡羅（MCMC）方法的計算效率，更在真實數據（如基因表達數據）上取得優越的結構學習準確率及較小的預測誤差。

實驗結論指向兩種方法的互補性：IW方法適用於數據有限且維度較低，變分方法則擅長應對高複雜度及大量缺失的場景。這一策略為處理實際數據提供了靈活又可信賴的工具包。

對 AI 領域的深遠影響

這篇論文的提出，可說是score matching應用上的一次突破性擴展：結合理論嚴謹性與實務可行性，直接面對現代數據科學中不可避免的缺失數據問題。它的貢獻具體體現在：

• 擴大了score matching在生成模型與能量基模型中，對不完整數據的適用範圍，推動更真實世界場景的建模。
• 為缺失數據問題提供全新角度，超越常見的插補和隱變量EM方法，尤其在結構學習與圖形模型領域表現優異，促進高效且精確的關係推斷。
• 通過重要性加權和變分推斷相結合的雙方法設計，展現面對不同資料維度與樣本量的適應能力，為日後相關研究打下扎實基礎，啟發更多混合策略的探索。
• 推動score matching成為更通用、彈性的工具，使未來AI系統能夠更好地處理缺失和不完整數據，提升真實應用場景的智能化水準。

總結而言，Givens等人2025年在ICML提出的《Score Matching with Missing Data》論文，不僅在理論層面深化了score matching的理解，也在工程實踐中展現其應用潛力，是該領域值得深入研究與持續關注的里程碑之作。

---

論文資訊
📄 Score Matching with Missing Data
👥 Givens, Liu, Reeve
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2506.00557

Conformal Prediction as Bayesian Quadrature

隨著機器學習系統於金融、醫療、自動駕駛等高風險場景的廣泛應用，如何在模型部署階段準確量化預測不確定性，成為 AI 領域亟需解決的重要問題。傳統上，保形預測（Conformal Prediction, CP）以其分佈無關（distribution-free）且對黑盒模型均可保證失敗率上界的特性，成為不確定性估計的熱門工具。然而，CP背後基於頻率主義（frequentist）的理論框架，雖然提供嚴格的保險性保證，卻也有其限制，尤其在解釋性和靈活性上不易滿足更為廣泛的應用需求。

在ICML 2025獲得傑出論文獎的Snell與Griffiths的新作《Conformal Prediction as Bayesian Quadrature》中，作者們重新審視保形預測的核心觀念，並提出從貝葉斯視角切入，將保形預測方法本質上等同於一類「貝葉斯積分（Bayesian Quadrature）」問題。這一觀點不僅豐富了我們對CP理論根基的理解，更從根源層面揭示了頻率主義保證的不足。李文中透過貝葉斯統計為基礎，打造出可實作且保有解釋力的替代方案，使得失敗率的估計結果更加直觀且易於擴展。

研究背景與動機

保形預測是一種罕見的分布無關預測集構造技術，透過對訓練資料及新數據均勻置換的假設，能為任何給定模型提供一組理論保證。例如，當你要求95%的置信度，CP方法可以保證在無論資料真實分布為何，其覆蓋率下界至少是95%。這使得CP在缺乏對真實資料分布資訊的前提下，成為一個無分布假設的強力工具。

然而，頻率解釋的置信區間只保證長期頻率覆蓋性，無法提供對特定樣本或特定應用情境下不確定性真實結構的豐富描述，也難以與先驗知識結合。此外，CP通常只關注預測區間的大小和覆蓋率，忽略了對模型性能指標（如損失函數）的貝葉斯後驗分佈探索。基於此，作者試圖探究CP方法與貝葉斯框架間的對應與整合潛力，企圖突破CP的現有限制。

核心方法與技術創新

本論文的核心創新在於將保形預測的失敗率計算重新形式化為一個貝葉斯積分問題，即針對模型的損失函數值進行積分估計。貝葉斯積分（Bayesian Quadrature, BQ）是貝葉斯統計中用於估計積分值的方法，它將積分這一點估計問題視為函數不確定性的推斷問題，透過高斯過程（Gaussian Process, GP）為目標函數建模，並給出積分結果的後驗分布。

論文指出，傳統CP所求的覆蓋率或失敗率可視為某類離散指標函數在損失函數分布上的積分，在頻率方法下固定且無法針對未見數據調整。而採用貝葉斯積分，則能根據觀察到的損失值對目標函數建模，並以後驗分布形式表達不確定性，允許更富彈性的風險評估。

此外，作者提出了一種實作上的演算法架構，令這種基於BQ的保形預測系統在真實世界的高維和非線性損失函數上可行。具體而言，該方法通過策略性採樣和高斯過程的利用來高效估計損失分布，使得最終的預測覆蓋區間不僅具有頻率意義，同時賦予判斷損失不確定性的解釋力與可視化上的優勢。

主要實驗結果

實驗部分作者以多種公開資料集和模型，包括分類與回歸任務，驗證了該方法在保形預測的失敗率估計方面的優勢和適用性。透過與傳統CP和其它基於貝葉斯的方法比較，主張自己的框架能提供更精緻的失敗率後驗分佈，顯示失敗率估計更具穩定性，同時在置信區間的寬度與覆蓋率間取得更好平衡。

此外實驗還證明該方法能有效捕捉模型在不同資料分佈條件（如偏態樣本、不確定樣本）下的性能變化，展示了頻率方法所不及的靈活應對能力。尤其在高風險應用中，此方法對失敗機率的描繪更貼近實際觀測，便於風險管理和決策調整。

對 AI 領域的深遠影響

本論文不只是對保形預測的理論精進，更為機器學習不確定性估計領域提供一個全新視角：透過貝葉斯積分框架，不再單純追求保形方法形式上的頻率保證，而是結合貝葉斯建模帶來的後驗解釋力與決策彈性。這種跨 paradigms 的融合，有望激勵未來更多關於預測不確定性量化的新方法，拉近理論保證和實務可用性之間的距離。

在安全關鍵AI系統中，該研究促使開發者不僅依賴置信保證作為輸出解釋的唯一依據，而是進一步檢視損失分布的後驗推斷，從而細緻掌握模型在特定任務或情境下的可能行為。這將有助於提高系統透明度、增強用戶信任及提升風險控管能力。

總結而言，Snell與Griffiths在《Conformal Prediction as Bayesian Quadrature》一文中，巧妙運用貝葉斯積分方法為保形預測帶來嶄新詮釋與實用升級，為機器學習不確定性量化領域立下新標竿。未來該理論與方法論的延伸，有望推動AI系統在更廣泛高風險場景中的安全可靠應用。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228

Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

在當前語言模型快速發展的浪潮中，基於下一個字元（next-token）預測的訓練與推理方式已成為主流，從 GPT 系列到各類 Transformer 架構，皆採用此策略。然而，這類方法雖能生成流暢且連貫的文本，卻在創造性與遠見規劃（long-horizon planning）層面存在先天侷限。ICML 2025 年獲獎論文《Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction》由 Nagarajan 等人針對這一核心問題提出了全新視角及方法。

研究背景與動機

現今大型語言模型多數透過最大化訓練語料的下一字元機率來學習語言結構與內容生成，這種「貪婪」式的逐步預測方法擅長捕捉局部語境關係，但對於需要長期規劃與創新跳躍的任務，則表現不佳。例如，真實世界中的創造性工作往往包含跨領域類比、概念重組、甚至是全新問題設計，這些都需要抽象知識圖譜的隱性探索與非局部決策。然而，下一字元預測本質上是「短視」的，無法有效捕捉多步後的潛在成果與創新路徑。

作者團隊因此設計了一套簡明且抽象的算法任務，這些任務不僅象徵真實世界中開放式、需要遠見的創新挑戰，也便於嚴謹量化模型在創造性上的極限與差異。這樣的研究設計在於評估現有語言模型的創造潛能並尋求突破方向。

核心方法與創新

本論文的核心在於提出並驗證多步跳躍（multi-token planning）優於傳統單步下一字元預測的理論與實踐證據。具體方法包含以下兩大面向：

1. 設計抽象的多步創造性任務：這些任務包括兩類核心模式：一是透過隱式、開放式的隨機規劃（stochastic planning）在抽象知識圖譜中發掘新連結，類似語言文字遊戲、類比推理、科學研究中靈感跳躍；二是建構新圖案，例如數學問題生成或蛋白質設計，這些都是典型的非局部、多步驟的創造行為。
2. 提升隨機性操作的新技術－「seed-conditioning」：傳統方法多透過溫度採樣（temperature sampling）在輸出層施加隨機性，增加多樣性但也可能破壞生成的連貫性。作者發現，在輸入層注入擾動（seed-conditioning）不僅能維持更高的語義與結構一致性，且在部分條件下表現優於溫度採樣。此技術大幅改進了模型產生創意輸出的質與量平衡，為創造力研究提供新思路。

此外，論文中也比較了基於教師無監督訓練（teacherless training）以及擴散模型（diffusion models）的方法，展示它們在創造多樣化輸出上的優勢，進一步反駁只用下一字元學習的狹隘視角。

主要實驗結果

實驗階段，作者在其設計之抽象算法任務平台上，對比了三種生成策略：傳統的 next-token 預測、擴散模型以及多步跳躍策略。透過嚴謹的定量指標與質性分析，結果顯示：

• 基於下一字元預測的模型雖能快速收斂，生成文法正確且風格自然的串列，但在拓展新知、跳脫既有知識框架方面表現平平，生成結果較缺乏創新與多樣性。
• 擴散模型與多步規劃策略在隨機性與探索性上顯著優於下一字元方法，使得模型能「跨多步思考」並產生更多未見過的模式或連結，創造力明顯提升。
• 採用 seed-conditioning 的模型在保持生成一致性與語意流暢度同時，能更有效地擴散探索潛在解空間，整體生成作品更具新穎性和邏輯完整性。

這些實驗結果同時在多種設定下重複驗證，包括不同知識圖譜結構、任務複雜度變化與噪聲強度調整，使研究結論具備高度魯棒性與泛化潛力。

對 AI 領域的深遠影響

本論文的貢獻不僅在於揭示下一字元預測模型的創造力瓶頸，更挑戰了當前大多數自然語言生成模型的核心訓練形式。隨著 AI 在科學研究、創意產業及複雜決策系統中應用日益廣泛，如何突破短視、局部資訊依賴的生成模式，是推動 AI 從模仿到真正「創造」關鍵一步。

透過提出抽象且可量化的創造性任務基準，以及說明多步規劃、擴散模型與輸入層噪聲注入的具體優勢，作者為後續研究提供了明確路徑：

• 拓展語言模型從「連續預測」走向「全局規劃」框架。
• 引入更加靈活且創新的隨機采樣機制，改善生成文本的多樣性與品質平衡。
• 建議在創造型 AI 系統的設計中，不應只依賴經典的 next-token 最大化，需整合更全面的學習與生成策略。

整體而言，這項研究不僅為機器學習社群帶來創新視角，也推動 AI 技術朝向更具「人類般」遠見思考與創新能力的方向邁進，具有里程碑意義。

有興趣的讀者可參考論文詳細內容與開源代碼（ArXiv原文），深入理解並進一步探索創造力與藝術智能的交匯。

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266

Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions 深度解讀

在生成模型領域，尤其是處理離散資料的場景中，近年出現了一種名為 Masked Diffusion Models（MDMs） 的新興架構。這種方法被認為是自回歸模型（Autoregressive Models, ARMs）的一個有力替代方案，因其在訓練與推理階段展現出截然不同的能力與挑戰。Kim 等人在 ICML 2025 以論文《Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions》榮獲 Outstanding Paper，本文將深入解析這篇獲獎論文的研究動機、方法創新、實驗成果與對 AI 領域的啟示。

研究背景與動機

傳統上，離散生成任務（如自然語言處理中的語言模型、結構化問題求解等）多數依賴自回歸模型。自回歸架構會按照固定的順序逐步生成每個輸出元素（Token），透過前一步的輸出條件化下一步。然而此種方法在推理時必須遵循嚴格的順序，限制了推理的彈性與效率，且訓練階段需要額外技巧（如教師強迫 teacher forcing）以穩定模型學習和避免暴露偏差（exposure bias）。

為了克服此限制，研究者轉向擴散模型（Diffusion Models）架構中針對離散資料的變體，即 Masked Diffusion Models（MDMs）。MDMs 在訓練時將任務設計成學習從隨機遮蔽狀態恢復完整序列，即要學會「填空（infill）」各種可能的遮蔽組合。這讓模型能在推理階段自由選擇生成順序，具有高度的解碼靈活性與多樣策略空間。

然而，這也帶來新的挑戰：

• 在訓練階段，MDMs需要學習解決指數級多樣的遮蔽組合子問題，理論與實務上的計算複雜度遠高於自回歸模型。
• 在推理階段，選擇適合的生成順序並非易事，不同的令牌解碼次序將直接影響生成質量與成功率。

因此，Kim 等人決定系統性探索「訓練中面對的困難問題」與「推理中選擇合適編碼策略」兩方面的平衡與機制，以挖掘 MDMs 潛力並解決其固有瓶頸。

核心方法與創新

本論文的核心貢獻可分為兩大部分：

1. 理論與實證揭示 MDMs 訓練中的困難問題

作者從理論上分析，MDMs 在訓練階段要應對的填空任務實質上是解決一個組合性極強的填補問題集合。這些子問題中包含許多計算複雜度極高甚至無法有效求解的「最壞」情況，他們描述為“train for the worst”。透過數理分析和實驗驗證，證明這種計算困難遠超自回歸模型中一步一步預測下一個 token 的簡單任務。這提醒了研究者，僅依靠端到端訓練是不夠的，必須有策略調整或輔助技術應對此難題。

2. 自適應推理策略以突破推理瓶頸

另一方面，論文提出靈活且高效的自適應生成順序選擇策略（adaptive token decoding order）。此策略根據每一步模型對尚未生成令牌的預測困難度動態調整解碼次序，優先生成相對容易、確定性的 token，從而推遲或繞過解決難度過高的子問題。譬如在解決須邏輯推理的問題時（如 Sudoku, 結構謎題等），動態順序選擇大幅提升解決成功率。

透過這種「先為最壞打基礎（train for the worst），而計劃時迎向最好（plan for the best）」的策略，MDMs 在推理時展現出強大且靈活的生成能力，可動態調整生成流程，打破傳統固定序列的限制。

主要實驗結果

為了驗證理論與算法主張，作者針對多種離散生成任務設計了廣泛實驗：

• 理論驗證：在訓練難度分析上，實驗結果與理論模型契合，證明設計的多樣填空子問題確實涵蓋計算複雜度高的案例。
• 邏輯謎題解決：在 Sudoku 等經典邏輯推理任務中，論文展示：對預訓練好的 MDM，透過自適應解碼順序推理，模型解謎成功率由原本不足 7% 提升到約 90%。這一驚人成果不僅大幅超越基本隨機或固定順序解碼策略，甚至勝過參數量是其七倍、且利用教師強迫訓練得知“正確解碼序”的先前自回歸模型。
• 靈活順序優勢：實驗還揭示，不同生成任務中，自適應排序能因應具體難度分布及上下文信息靈活調整，有效避開訓練期帶來的部分困難子問題。

這些成果充分證明，MDMs 在結合合理訓練策略與推理策略時，具備潛力成為更為強大且通用的離散生成模型。

對 AI 領域的深遠影響

這篇論文的發表不僅豐富了離散生成領域的理論基礎，更在技術實踐層面具備多項深遠啟示：

1. 打破固定序列生成的限制：傳統自回歸模型固守嚴格的生成序列，限制了推理彈性和效率。MDMs 提供了一條可變解碼順序的新路徑，開創解碼策略自適應的全新範式。
2. 理論視角促進訓練設計精進：研究揭露了 MDMs 訓練中存在的最壞子問題，促使後續工作思考如何降低樣本困難度、設計更有效的遮蔽策略或輔助機制，提高模型學習效率與泛化能力。
3. 強化結構與邏輯推理能力：透過自適應解碼策略，MDMs 不僅在語言生成，對結構化邏輯問題的解決也有突破，提醒我們生成模型未來可向更廣泛的結構化人工智能方向邁進。
4. 跨領域影響力：該方法同時對語言、程式碼生成、組合優化問題等離散生成任務具有潛力，引導了融合擴散模型與自回歸模型優點的混合策略探索。

總結而言，Kim 等人提出的「Train for the Worst, Plan for the Best」理念，不僅為 Masked Diffusion Models 提供了清晰的理論基石與實務策略，同時也展示出 ADAPTIVE 解碼策略激發潛力的強大威力。這項研究突破了傳統生成模型的局限，為未來離散生成系統設計樹立典範，並將持續推動 AI 在生成式推理與結構化任務的邊界。

---

論文資訊
📄 Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions
👥 Kim, Shah, Kontonis, Kakade, Chen
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.06768

CollabLLM: From Passive Responders to Active Collaborators — ICML 2025 傑出論文深度介紹

在大型語言模型（Large Language Models, LLMs）日益普及並廣泛應用於對話系統、助理和內容生成的今天，如何讓這些模型更有效地與人類使用者互動，達成深層且長期的合作目標，成為一項重要挑戰。傳統的 LLM 訓練模式多半使用「下一輪」回應的即時獎勵（next-turn rewards），使模型聚焦於當下回覆的準確度或流暢性，卻忽略了整體多回合對話流程中的長期目標優化。這導致模型往往淪為「被動回應者」，對模糊或開放式指令缺乏主動引導與探索，結果是對話效率和用戶滿意度低下，未能真正協助用戶達成複雜任務或深層意圖。

研究背景與動機

隨著 LLM 在自然語言理解與生成領域表現驚人，如何使其在多回合交互中成為真正的「合作伙伴（collaborator）」，而非單純的工具或資訊提供者，變得越來越重要。傳統對話系統偏重即時反應，無法積極「推動」對話發展或發掘用戶隱藏需求，使得用戶需要花費大量時間引導模型、重複說明或自行解決問題。這種被動回應的困境限制了 LLM 在多輪任務（如文件創作、策略討論、問題解決方案制定等）的應用潛力。

因此，本論文作者團隊提出一個創新且具有通用性的訓練框架——CollabLLM，旨在提升 LLM 在多回合互動中的協作能力。CollabLLM 不僅僅看重當下回應的質量，更通過建模和模擬整個交流過程中回應對最終任務完成的貢獻，實現從「被動回答」到「主動協作」的質的飛躍。

核心方法與技術創新

CollabLLM 的核心創新在於將「多回合感知獎勵（Multiturn-aware Rewards）」融入強化學習微調過程。在模型回應後，系統會透過一種稱為「協作模擬（collaborative simulation）」的機制評估該回應在整個對話上下文中的長期價值，而不是僅以單輪指標衡量。此獎勵信號綜合了多種因素，例如回應是否有效揭示或澄清用戶的深層意圖、是否主動提出建設性建議、以及對任務推進的貢獻程度。

透過此方法，CollabLLM 能夠在強化學習階段針對長期合作目標進行優化，使模型變得更具主動性。具體來說，訓練過程中模型不再只是被動接收用戶指令，而是積極尋求未明確表達的需求，提供可行建議，甚至引導對話方向，促進用戶與 AI 之間的高效協作。

為了嚴謹檢驗這種創新方法的效果，作者團隊同時設計了一套多回合交互基準測試，涵蓋三個具挑戰性的典型任務，其中最具代表性的是「文件創建」，它要求模型協助用戶逐步構思、編寫並修改長文本內容。這些任務設計旨在模擬真實世界中廣泛存在的複雜人機合作場景。

主要實驗結果

在實驗部分，CollabLLM 與現有多種基線模型和訓練方法進行比較，結果非常顯著。整體而言，CollabLLM 在任務完成度上平均提升了 18.5%，反映出模型在促進用戶達成預期目標方面的顯著進步。更重要的是，根據大型語言模型裁判（LLM judges）的評估，CollabLLM 的互動性提升了 46.3%，這意味著其對話更具深度、連貫與富有建設性，能真正帶來更佳合作體驗。

此外，作者團隊還進行了一項涵蓋 201 位用戶的規模大用戶研究，收集一手的真實用戶反饋。結果顯示，使用 CollabLLM 的對話系統讓用戶滿意度提升了 17.6%，而平均每次任務所花費的時間則減少了 10.4%。用戶表示，CollabLLM 不僅反應更靈敏且主動，還能幫助他們更快釐清需求與構思方向，大幅提升工作效率與互動品質。

對 AI 領域的深遠影響

CollabLLM 這項研究代表了語言模型互動模式的一次重要突破，從「被動回應」邁向「主動合作」，豐富了人機對話系統的理論與實踐維度。傳統的強化學習與損失函數設計多著眼於單步目標，卻忽略多回合對話中的長期推動與策略性思考。本論文提出的多回合感知獎勵機制和協作模擬方法，為後續多回合交互系統設計提供了嶄新範式，對提升智能助理、對話機器人和協作 AI 工具的整體效能具有重要啟示。

從更宏觀的角度來看，CollabLLM 突顯了在人機協同工作中的「主動性」重要性——未來 AI 不僅是「回應者」，更要成為「引導者」與「合作者」。這種轉變對於複雜決策支援、創意生成以及知識工作自動化等場景尤為關鍵，因為它可以有效減輕用戶負擔，提升協作效率，並帶來更直觀、符合用戶需求的交互體驗。

此外，CollabLLM 提出的多回合互動基準測試及其嚴謹的實驗設計，也為多回合互動研究提供了標準化評估工具，有助於社群統一衡量模型在長期合作能力上的表現，推動該領域的持續進展。

總結

總體而言，CollabLLM 由 Wu 等人提出的框架不僅切中了現階段大型語言模型在人機互動中存在的瓶頸，更透過多回合感知的獎勵設計和強化微調，將 LLM 由「被動回答者」進化為「主動合作伙伴」。實驗結果展現了該方法在任務表現、互動品質與用戶滿意度上全面且顯著的提升，在 AI 對話系統與協同智能領域開闢了新的研究方向，對未來打造更智能、更人性化的 AI 助理具有深遠影響。

---

論文資訊
📄 CollabLLM: From Passive Responders to Active Collaborators
👥 Wu, Galley, Peng, Cheng, Li, Dou, Cai, Zou, Leskovec, Gao
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.00640

Data Shapley in One Training Run：高效精準的資料貢獻度評估新範式

在當前以資料驅動的機器學習領域中，了解每筆訓練資料對於最終模型績效的貢獻度，不僅是強化模型可解釋性的重要途徑，也是優化資料組合、提升訓練效率，以及合理分配版權與責任的基石。傳統的資料價值評估方法——尤其是基於 Shapley value 的資料貢獻度量化——雖然理論上精確且具備公正性，卻因需多次重新訓練模型導致計算成本高昂，難以應用於規模龐大的現代基礎模型(pretraining foundation models)。本文《Data Shapley in One Training Run》由Wang、Mittal、Song 與 Jia等人提出，榮獲 ICLR 2025 傑出論文榮譽獎，突破了上述瓶頸，开創了在單次訓練過程中即能準確量化資料貢獻的新方法，被視為資料評價及基礎模型訓練分析上的重要里程碑。

研究背景與動機

Shapley value 出自合作博弈論，旨在公平分配合作過程中各參與者的貢獻。將其應用於機器學習資料上，代表每筆資料點對模型表現的邊際貢獻，可用於資料清洗、異常偵測、版權認定、合作訓練激勵等多種情境。過去如 Data Shapley 這類方法需要訓練多次模型——每次針對不同子集的資料——因而帶來極高的計算負擔，尤其在當前深度學習模型動輒數億至數百億參數，訓練時間數天甚至數周的情況下更是無法接受。此外，傳統方法給出的資料價值是對整體訓練過程產生的模型表現的平均衡量，無法針對特定訓練過程中所得到的模型做偏向性分析。隨著基礎模型(pretrained foundation models)與大規模資料在工業與學術場景的爆炸性增長，迫切需要可擴展且精準的資料貢獻度評估方法。

核心方法與創新

本文創新之處在於提出「In-Run Data Shapley」（單次訓練中資料 Shapley 值）方法，實現了在只需一次完整模型訓練流程中，即可獲得每筆訓練資料對該模型特定最終參數的貢獻度。其核心理念如下：

• 利用訓練過程中的中間資訊：與傳統需多次重新啟動訓練的架構不同，In-Run Data Shapley 把握「梯度貢獻」與「參數更新軌跡」資訊。論文中提出巧妙的數學推導和演算法，從每一個訓練批次資料對參數優化的直接影響出發，累積估計最終模型性能變化的邊際效應。
• 高效且可伸縮的近似策略：基於理論保證的近似算法，該方法使得額外計算成本幾乎可以忽略於模型正常訓練時間中。透過精心設計的記憶體管理和數值估計，成功將計算複雜度降至可處理大型資料集和巨型模型的等級。
• 針對特定模型的資料歸因：與傳統 Data Shapley 統一分數不同，In-Run Data Shapley 明確聚焦於訓練產生的最終模型，產生的資料重要性分數更具針對性與辨識度，反映真實世界訓練過程中的個別實例影響。

方法學上，此論文對梯度估計的理論推導結合了參數空間的線性近似與隨機梯度下降（SGD）的動態追蹤，稱得上是將博弈論中的理論工具與深度學習訓練動態深度結合的傑出範例。此外，作者在算法實作中，兼顧了效能與準確度之間的平衡，確保方法既可落地實務應用，也有理論背書。

主要實驗結果

作者在多個基準和真實世界的大型訓練任務中進行實驗驗證，涵蓋不同模型架構（如 Transformer）、資料規模及任務類型。關鍵發現包括：

1. 顯著降低計算成本：相較於標準的 Data Shapley 計算方法，In-Run Data Shapley 的計算時間幾乎與原本的訓練時間持平，使得在超大規模基礎模型訓練中也能實際應用。
2. 保持高度一致性與準確性：與多次訓練架構計算的標準 Shapley 值結果進行比較，In-Run 方法在排序及重要性分數呈現高度一致，且有效捕捉資料異常和罕見特徵的影響力。
3. 深入分析基礎模型預訓練資料貢獻：首次提供了大型預訓練資料集內各條目對模型貢獻的定量分析，揭示具體資料範疇及品質如何影響下游任務性能，為資料選擇與過濾策略提供具體依據。
4. 探討生成式 AI 的版權問題：透過精確量化各資料點在生成式模型知識形成中的角色，為未來法律與道德議題的辯論提供客觀資料支持，促使產業界在尊重版權與資料貢獻認定上趨於透明化。

對 AI 領域的深遠影響

本論文的貢獻不僅在於技術上的突破，更代表了資料致能時代（data-centric AI）的關鍵前進步伐。具體來說：

• 推動可解釋性與公平性研究：準確的資料貢獻度衡量，有助釐清模型表現來自哪些訓練樣本，支持監管、除錯與公平性檢查，提升深度學習系統的透明度與信賴度。
• 啟發高效資料管理與優化流程：透過快速識別價值最高與最低的資料點，能指導資料清洗、資料增強及訓練資料設計，有助在有限資源下達成模型性能最大化。
• 影響版權與數據使用政策制定：生成式 AI 持續引發如何合法使用大量資料的爭議，In-Run Data Shapley 提供了客觀、公正的數據貢獻評估基礎，有助建立合理的補償和授權機制，促進產業與學術的健康發展。
• 促進大型基礎模型的責任訓練：資料影響力可被追蹤與量化，鼓勵訓練者對資料來源負責，打造更具社會價值與倫理考量的 AI 系統。

綜合而言，《Data Shapley in One Training Run》不僅解決了長久以來資料貢獻度評估面臨的可擴展性挑戰，也開啟了精確、快速且實務可行的新視角，期待未來在資料管理、模型訓練、AI 倫理等領域持續激盪出更多創新火花。

---

論文資訊
📄 Data Shapley in One Training Run
👥 Wang, Mittal, Song, Jia
🏆 ICLR 2025 · Outstanding Paper Honorable Mention
🔗 arxiv.org/abs/2406.11011

Learning Dynamics of LLM Finetuning 深度解析

近年來，大型語言模型（Large Language Models, LLMs）因其卓越的自然語言理解和生成能力，成為人工智慧領域的研究熱點。然而，隨著模型規模的持續擴大，如何有效且深入理解其微調（finetuning）過程中的學習機制，成為提升模型效能與安全性的重要課題。ICLR 2025 年獲獎論文《Learning Dynamics of LLM Finetuning》由 Ren 與 Sutherland 所提出，正是針對此一核心問題，首次系統性地揭示了大型語言模型在不同微調策略下的「學習動態」，並基於此發展解釋模型行為的全新框架。

研究背景與動機

在深度學習與 LLM 的研究中，「學習動態（learning dynamics）」指的是訓練過程中，模型對特定訓練樣本的學習如何影響其對其他樣本預測的行為。理解這一過程，能夠幫助我們揭示模型在微調過程中知識累積、遷移與混淆的本質，進而優化模型性能和減少負面效應。過去多數工作多聚焦微調後的整體效果或靜態權重分析，缺少對「逐步學習過程」的細緻理解，尤其是如何在不同類型微調（如指令微調和偏好微調）中，模型內部對知識的影響流動與交互。

此外，在微調期間常見的「幻覺（hallucination）」現象——模型生成與事實不符的內容，迄今仍未有一致且說服力強的解釋。這篇論文正是在此背景下出發，探索為何某些幻覺在微調後反而被增強，以及偏好微調中觀察到的反常現象，如離策略直接偏好優化（off-policy direct preference optimization, DPO）「過度訓練反效果」的機制。

核心方法與創新

本論文提出一套基於「逐步影響分解（step-wise decomposition of influence）」的數學分析框架，用以深入追蹤在微調過程中，不同訓練樣本間影響的累積機制。具體而言，作者從微調的梯度更新角度出發，量化一個訓練樣本如何通過多輪參數更新影響模型最終對其他問題的預測。此方法超越傳統靜態參數分析，提供動態視角來觀察知識是如何在模型內流動與擴散的。

在指令微調（instruction tuning）的場景中，該框架成功解釋了為何模型在微調後常出現「跨題答覆」（例如模型回應問題A時，錯誤借用問題B的答案或語句）以及「重複簡單片語」的現象。作者將這些現象歸因為不同訓練示例間的影響強度不均，在微調過程中某些信息被「壓擠（squeezing effect）」—即部分答案空間被過度集中，導致知識遷移過度或重複，使模型表現出幻覺與模式退化。

更進一步，論文將此框架擴展至偏好微調，特別是離策略 DPO，揭示為何長時間運行 DPO 反而降低了期待輸出的概率，導致效果退化。透過「壓擠效應」的概念，作者說明了模型在優化偏好時，內部概率分佈被過度縮減，喪失多樣性與穩健性。此外，該分析也幫助解釋了在「在策略 DPO（on-policy DPO）」及其變體中觀察到的性能提升，指出這些方法能有效避免過度壓擠，維持合理的影響擴散。

主要實驗結果

論文在多個標準大型語言模型及其微調任務上進行驗證，涵蓋指令調整和偏好微調兩大類別。透過量化模型在不同訓練步驟中對各回答的影響變化，具體展示了知識影響的流動機制和壓擠現象。實驗結果關鍵包含：

• 指令微調後，跨問題內容誤用和重複表達的頻率顯著增加，與理論模型預測一致。
• 離策略 DPO 訓練中期開始出現.output機率急劇下降，用以支持作者對壓擠效應的假說。
• 在策略 DPO 與改良版微調策略顯著緩解了上述現象，保持高效且穩定的性能提升。
• 基於框架提出的簡單修正方法（如調整梯度權重分佈）改善了對齊性能，減少了幻覺率，且提升了生成回應的一致性。

對 AI 領域的深遠影響

這篇論文的貢獻不僅在於首次系統性揭示大型語言模型微調過程中的學習動態，更在於提供了一種兼具可解釋性與操作性的分析工具。這對 AI 研究尤其有深遠意義：

1. 理解與解釋模型行為：利用學習動態的視角，開啟了對複雜模型微調內部機制的解碼新途徑，有助於研究者定位幻覺與錯誤生成的根本原因，提升模型的信賴度與透明度。
2. 優化微調策略：根據影響累積的定量分析，能設計更精細的微調條件及監控指標，有效避免過度壓擠，提高微調效率與安全性，尤其對訓練偏好模型（如 RLHF）具有直接指導意義。
3. 推動模型對齊進展：論文提出的簡單改進措施，直接提升了模型對齊表現，有望促使大模型能更準確地反映人類偏好與倫理要求，降低錯誤資訊流傳風險。
4. 理論與實務的橋樑：綜合理論分析與大量實驗，為後續微調方法的創新與評估提供了堅實的基礎，促進理論與工程的緊密結合。

總結來說，Ren 與 Sutherland 的《Learning Dynamics of LLM Finetuning》不只是揭示了大型語言模型訓練中難以直觀察覺的知識影響流動與信息壓擠現象，更基於此提出了實用且高效的改進策略。此研究無疑成為理解與改良 LLM 微調中不可或缺的理論里程碑，對未來大模型的穩定發展與安全落地具有關鍵推動作用。

---

論文資訊
📄 Learning Dynamics of LLM Finetuning
👥 Ren, Sutherland
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2407.10490