Conformal Prediction as Bayesian Quadrature

在人工智慧與機器學習領域中，預測結果的不確定性評估一直是實務應用與理論研究的核心課題。傳統的機器學習模型通常僅提供點預測，但缺乏對結果可信度的量化，限制了其在臨床醫療、金融風險管理、自駕車等高風險場域的應用。於是，能夠產生區間預測（prediction interval）並且保證涵蓋真實標籤的覆蓋率的技術就尤為重要。

Conformal Prediction（CP）作為一種非參數且分布自由的方法，因其理論上對所有資料分布均具有覆蓋率保證，成為評估不確定性的強大工具。然而，CP框架本身多偏向頻率論方法，缺少與貝葉斯統計中概率描述不確定性的連結，尤其在將不確定性量化轉化為積分估計（quadrature）問題的視角尚未被深入探討。Snell與Griffiths於ICML 2025發表的論文《Conformal Prediction as Bayesian Quadrature》就在此背景下，提出了一項突破性的理論與方法論貢獻，榮獲當年度傑出論文獎（Outstanding Paper）。

研究背景與動機

CP的核心在於利用過去數據的擬合誤差分布，構建新的觀測點的區間預測，並保證在有限樣本下的有限樣本覆蓋率。然而，當處理複雜的模型結構或高維輸入時，CP的計算與理論分析常發生瓶頸，且往往忽略了「積分」——即在貝葉斯推斷中，透過計算後驗分布期望值取得不確定性量化的步驟。

另一方面，Bayesian Quadrature（BQ）是貝葉斯方法中用於積分估計的技術。傳統數值積分僅提供點估計，而BQ框架能夠在積分結果上建立概率模型，合理且有效地將估計誤差納入不確定性中。BQ被視為將貝葉斯推斷方法引入數值分析的典範，且在積分估計、機器學習模型推理等方面有著豐富應用。

本論文的動機即在於橋接Conformal Prediction與Bayesian Quadrature兩大理論體系，探索CP在貝葉斯視角下的積分意義，進而開發出結合理論合理性與計算效率的新型預測不確定性方法。

核心方法與創新

Snell與Griffiths提出將Conformal Prediction重新詮釋為Bayesian Quadrature的積分問題。他們的關鍵創新點在於：

1. 理論框架整合：將CP中的預測區間視為積分問題的解，具體來說，將不確定性量化視為貝葉斯積分中積分後驗分布的區間估計。此舉不僅打通了頻率論和貝葉斯論之間的壁壘，也賦予CP更明確的概率解釋。
2. 依據積分位置自適應構建預測區間：傳統CP依賴經驗分布構造非參數區間，難以考慮樣本的複雜結構與相互關係。論文利用BQ框架，可透過核函數（Kernel）等協方差函數捕捉輸入樣本間相依性，動態調整預測區間的寬度與位置，提升在高維與非均勻資料分布下的表現。
3. 緊密連結不確定性量化與數值積分：將CP視為一種核化權重積分，作者發展可計算與更新的貝葉斯推斷演算法，使得不確定性估計更具彈性與精確度，尤其能在有限樣本中改善覆蓋率與區間長度的折衷。
4. 理論證明：論文嚴謹證明了其方法在理論上的一致性和效率，顯示以BQ視角建構的CP區間在涵蓋率保證下，能夠達到優異的誤差界限，並且在某些條件下收斂更快。

主要實驗結果

作者在各種合成資料與實際資料集上驗證了其方法的有效性，實驗涵蓋回歸及分類任務，並與多種傳統CP方法（如Inductive Conformal Prediction, Weighted Conformal Prediction）進行比較。主要發現包括：

• 在低資料量場景（few-shot）中，基於Bayesian Quadrature的CP能顯著縮小預測區間的長度，同時維持甚至提升覆蓋率，展示出更有效的利用資料信息的能力。
• 在高維輸入空間或分布不均勻的情況，該方法透過核函數捕捉樣本內在結構，表現出更穩定且準確的不確定性估計，優於傳統非參數CP。
• 透過模擬實驗，證明理論上的收斂速度與實際運算的效率相當吻合，顯示該方法具備實務可行性。
• 結合現代深度學習模型，尤其是使用深度核函數後，該框架亦能嵌入神經網路的結構中，實現端到端的不確定性量化。

對 AI 領域的深遠影響

這篇論文的貢獻不僅在於技術本身，更多展現在它為機器學習中的不確定性評估提供了一個統一而深刻的視角。以下幾點尤為重要：

1. 橋接頻率論與貝葉斯理論：長期以來，頻率論與貝葉斯論在統計推斷中各持一方，而這篇研究指出，透過Bayesian Quadrature，可以自然融合Conformal Prediction的頻率保證與貝葉斯不確定性量化，使兩者優勢兼具，推動更全面的預測信賴區間建構。
2. 推進數值積分與不確定性估計的結合：數值積分在機器學習模型推斷中地位重要，尤其在貝葉斯推論中更是核心步驟。將CP視為BQ的積分問題，開拓了新思路，有望帶動更多在積分誤差與不確定性上進行改進的研究。
3. 實務應用層面提升可靠性：高風險領域對預測可信度要求極高，將CP納入BQ架構後，可帶來更精準且有理論保證的區間預測，有助加速AI系統在醫療診斷、自駕系統等關鍵領域的應用與普及。
4. 促使後續方法創新：該論文的新視角引領學界重新思考不確定性量化問題，同時融合核方法、貝葉斯推斷與覆蓋率保障，對後續深度學習、主動學習、強化學習中不確定性評估相關技術的發展具有啟發與推動作用。

總結而言，Snell與Griffiths的《Conformal Prediction as Bayesian Quadrature》不僅在理論層面為CP提供了嶄新的貝葉斯解讀與積分框架，也在方法上提出更精準有效的預測區間構建策略，成功跨越兩大領域的技術壁壘。其理論嚴謹且實驗充分，代表了未來機器學習不確定性評估研究中一大具指標性的里程碑。對於研究生或工程師而言，深入了解本論文提供的知識，將有助於在不確定性建模、貝葉斯推論與核方法等前沿領域構建堅實的理論基礎，並促進其在實際AI系統中的應用轉化。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228

Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

在當今自然語言處理（NLP）及生成模型領域，基於「下一詞預測」（next-token prediction）的語言模型如 GPT 系列已成為主流，廣泛應用於文本生成、對話系統以及創意輔助工具。然而，這類模型其實存在固有的「近視」限制，因為模型每次只關注生成序列中的下一個詞元，無法長期規劃或進行更具遠見的創新思考。Nagarajan 等人於 2025 年 ICML 頂會發表的傑出論文《Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction》正是針對此問題提出深刻洞察與嶄新解決方案。

研究背景與動機

現有語言模型在很多創造性任務（例如文字遊戲、類比推理、設計數學問題或新蛋白質結構）中，易受困於「局部最優解」，難以跳脫單步詞元生成所帶來的框架束縛。現實世界的創新往往要求系統能進行開放式的隨機規劃與遠見推演，而非僅依序生成下一詞。這種創造性跳躍意味著模型需要在抽象知識圖或結構模式中發現新連結，或直接構建全新型態，這是目前純基於下一詞預測的訓練機制難以達到的。

此外，現行生成手段多依賴溫度采樣（temperature sampling）以引入隨機性，卻可能犧牲連貫性，造成生成文本質量下降。因此，如何在保持語義流暢性同時，驅動模型產生真正具多樣性和原創性的文本，是本研究的核心動機。

核心方法與創新

作者首先設計了一組極簡的演算法任務作為測試基準（test-bed），這些任務雖然抽象，但模擬了現實世界中開放式創新所需的隨機規劃過程。具體而言，任務可分為兩類：

• 類型一：在抽象知識圖中探索新連結，如類比推理與詞彙遊戲。
• 類型二：建立新模式，如數學題目設計或蛋白質構建。

這些任務的設計允許作者有條件、可控地量化與分析模型在「創造性」上的表現與限制。

論文核心揭示：基於下一詞預測的模型在上述任務中本質上是「短視」，難以完成必要的多詞長期規劃。相較之下，「無教師訓練」（teacherless training）和擴散模型（diffusion models）等多詞生成架構，因其固有的結構與訓練方式，更擅長產出多樣化且原創的結果。

此外，作者提出「種子條件化」（seed-conditioning）這一方法——將噪聲注入輸入層，而非傳統的輸出層溫度采樣技術。實驗顯示，此方法在維持生成文本連貫性的同時，能引導模型探索更廣泛的創新空間，有時甚至優於溫度采樣，成為一種有效的隨機性引入機制。

主要實驗結果

在設計的多組創意任務評測中，論文系統性地比較了下一詞預測模型、多詞生成架構及不同隨機性激發策略的效果：

• 下一詞預測模型在生成的多樣性與創新性上表現呆滯，往往陷入安全區塊，只能做出微創新。
• 無教師訓練架構和擴散模型在抽象圖結構探索及新模式構建任務中明顯超越下一詞模型，體現了更強的規劃能力與創造力。
• 種子條件化在多個任務中有效提升了生成文本的原創程度，並維持或提升了語義連貫性，相較經典溫度采樣，展現出令人驚喜的優勢。

作者同時做了豐富的理論分析，解釋為何下一詞預測生成的「短視性」是導致創作能力侷限的關鍵因素，並且提出多詞規劃和噪聲注入的數學理論基礎。

對 AI 領域的深遠影響

這篇論文在 AI 尤其是生成模型與創造力研究領域產生了重要啟示。首先，它清楚指出了當前主流大模型訓練機制的「盲點」——下一詞預測既是成功關鍵，也是限制創新的瓶頸。透過嚴謹的抽象任務設計與系統實驗，作者提供了第一手的量化證據與理論論述，揭示生成模型在創造力方面的內在限制。

其次，論文強調了跨越此瓶頸的潛在路徑：多詞規劃型訓練方法（如擴散模型與教師自由學習）以及種子條件化噪聲注入技術。這些技術不僅能大幅提升模型生成的結果多樣性，還能更好地模擬人類進行創新發散時的思考過程，進而推動 AI 創造力的質量飛躍。

最後，本文提出的極簡測試基準為未來評估 AI 開放式創造力提供了一個標準框架，促進了該領域的規範化與理論化發展。這對促進生成模型向「更智能、更具遠見」方向演進具有里程碑意義，對研究者和產業界都具有很高的參考價值。

整體而言，Nagarajan 等人的研究為超越現有模型限制、打造具備長期規劃和創新能力的生成 AI 奠定了堅實基礎，成為未來 AI 創造力研究的新航標，也代表 ICML 2025 傑出論文的高水準。

若欲深入瞭解更多細節，可參考論文原文及附帶的開源程式碼：https://arxiv.org/abs/2504.15266

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266

Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions

在生成模型迅速發展的今天，如何平衡訓練效率與推論靈活性成為一大挑戰。《Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions》一文由Kim等學者於ICML 2025發表並獲得Outstanding Paper獎項，針對近期備受關注的Masked Diffusion Models（MDMs，遮罩擴散模型）提出了深入而系統的理論分析與實驗驗證。此篇論文不僅深化了我們對MDMs訓練與推論之間微妙權衡的理解，更提出了一套創新的推論策略，顯著提升MDMs在離散序列生成上的性能，為該領域帶來重要突破與啟發。

一、研究背景與動機

傳統序列生成任務中，自回歸模型（Autoregressive Models, ARMs）是主流架構。它們透過依序預測下一個token，學習生成序列，推理簡單且訓練效率較高。然而ARMs在推論時必須依序生成，限制了其靈活性且無法並行，加重實務應用上的延時負擔。

近年興起的Masked Diffusion Models（MDMs）則透過隨機遮蔽序列中的多個token，訓練模型學習重構缺失部分，鼓勵模型能在推論過程中以

任意順序生成token

。這類模型在推論階段具有高度彈性，能快速平行解碼，理論上擁有更優的推論速度與靈活性。

然而MDMs也有挑戰：在訓練階段它必須學習處理數以指數增長的多重填補子問題（infilling subproblems），遠比ARMs同等規模模型面臨更複雜的問題。先前研究多半對此缺乏系統性分析，對於如何從理論與實務面平衡這兩者仍舊模糊不清。同時，MDMs雖然推論靈活，但如何選擇最佳或優良的token生成順序以避開困難子任務，仍是一大難題。

二、核心方法與創新

本文結合理論證明與實驗探索，從兩個核心角度展開：

1. 訓練難題的理論刻畫：作者首先從計算複雜性視角出發，數理分析証實MDMs在訓練需面對的填補子問題複雜度遠高於ARMs。ARMs透過固定的序列順序，解決順序生成任務；相對地，MDMs必須同時學習解決指數級的多種遮罩組合子問題，令訓練過程在計算量與優化難度上大幅增加。此發現幫助社群正確認識MDMs的訓練瓶頸與挑戰，不再僅靠直覺判斷。
2. 適應性token生成順序策略：面對複雜的训练任務與推論彈性，作者提出創新的「基於場景自適應決策的token解碼順序演算法」。該方法根據當前解碼狀態與難易度評估，動態選擇接下來要生成的token，刻意避開難以預測的子問題，逐步減少不確定度。此策略結合啟發式與深度模型驅動，使MDMs得以「計劃最好的推論路徑」，儘管模型訓練時「針對最壞的（最難的）子問題」進行優化。

此方法打破了以往MDMs固定或隨機生成順序的框架，首次明確將推論中的解碼順序問題作為策略優化目標，顯著提升模型效能與實用性。

三、主要實驗結果

為驗證理論與方法，論文設計多項實驗，涵蓋合成邏輯謎題（例如數獨、Sudoku）及語言生成任務：

• 計算複雜性實驗：實證結果支持理論分析，驗證MDMs在解決複雜填補問題時，模型訓練中確實存在更高的計算負擔與難易度。
• 推論順序策略驗證：在數獨問題上，預訓練的MDMs採用適應性解碼策略，解題正確率從原本不足7%飆升至約90%，大幅超越固定順序的ARMs。更令人驚艷的是，即使是ARMs模型規模擴大7倍，且特別透過teacher forcing技術學習「最佳解碼順序」，仍無法超越此MDMs策略。
• 多域驗證：論文還展示此順序選擇策略對多種不同類型的文字與序列生成任務均具廣泛適用性與強健效果，說明其方法具備良好的泛化能力。

四、對 AI 領域的深遠影響

此篇論文不僅填補了Masked Diffusion Models訓練與推論間理論與實務的鴻溝，更提出了一條全新的觀點：

• MDMs的設計哲學應是「訓練搭配最壞情境，但推論以最優策略達致最佳成效」，體現了機器學習中對抗性思考與靈活性調節的完美結合。
• 論文所提出的適應性token生成順序演算法，開啟了序列生成任務中解碼順序策略設計的新方向。未來Generative AI不再是被動順序式生成，而能結合決策與策劃機制，智能選擇生成路徑以突破傳統限制。
• 在具體應用層面，MDMs的新推論策略有望推動邏輯推理、編碼生成、文本完成等領域快速進步，尤其在面對復雜結構或多解序列任務時展現獨特優勢。
• 此外，本文的計算複雜性分析有助於後續研究者優化MDMs的訓練過程，設計更高效的資料擴散與遮蔽策略，提升擴散模型在離散領域的實用性與規模化能力。

總結來說，Kim等人的這篇研究不僅深化了學界對Masked Diffusion Models的理解，促使我們重新審視生成模型中訓練與推論的權衡問題，也展示了策略性解碼在提升模型推論能力上的巨大潛力。這些貢獻對生成式模型設計、優化與應用均具有深遠影響，值得AI研究人員與工程師投入更多關注與追蹤。

---

論文資訊
📄 Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions
👥 Kim, Shah, Kontonis, Kakade, Chen
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.06768

CollabLLM: From Passive Responders to Active Collaborators - ICML 2025 傑出論文深度介紹

在人工智慧領域，特別是大型語言模型（Large Language Models, LLMs）的發展上，過去多數模型主要以回應用戶當前詢問為目標，依賴「下一步回合獎勵」（next-turn rewards）進行訓練。這種策略雖然有助於模型即時產出符合語言流暢性的回應，卻往往無法顧及對話的長期目標，導致模型在面對開放式或模糊需求時僅被動回應，而非主動引導，無法有效協助用戶達成最終的意圖，進而使對話效率降低，使用者體驗受損。

針對此一瓶頸，ICML 2025 傑出論文《CollabLLM: From Passive Responders to Active Collaborators》由 Wu 等人提出了創新訓練框架 CollabLLM，旨在讓 LLM 從「被動回應者」轉變為「主動協作者」，展現出更高層次的互動與長期任務達成能力。該論文不僅提出技術突破，更透過詳盡實驗和大規模用戶評測，驗證了 CollabLLM 在多輪對話及複雜任務中的優越效能。

研究背景與動機

現行主流 LLM 訓練多採用即時的下一回合獎勵機制，訓練過程及目標多為最大化下句或下回合的回應質量，如語言流暢性或語義匹配度。但此方式無法有效捕捉多輪對話中用戶整體意圖的發展過程，特別是在含糊、開放性問題或需要長期規劃的場景中更顯不足。這意味著模型往往停留在「回答所問」，而非理解「用意何在」，因此缺少能主動詢問、提醒或適時介入的能力。

作者認為，提升人機協作的品質，不僅要讓模型能回應，更要能主動參與對話，發掘用戶潛在需求，引導或建議更有效的互動策略，從而達成更優化的任務結果。因此，文章核心動機是突破傳統訓練限制，設計出基於多回合視野的強化學習策略，以強化模型的長期思維與協作能力。

核心方法與創新

CollabLLM 核心創新在於引入「多輪互動感知獎勵」（Multiturn-aware Rewards）機制，並透過「協同模擬」（collaborative simulation）來預估單次回應對整體目標的長期貢獻。具體實作包含以下幾個關鍵步驟：

• 多輪互動感知獎勵設計：不同於傳統只評估下一回合反應，該獎勵評價考慮對後續回合的影響，讓模型在決策時權衡短期訊息與長期目標，提升對複雜互動結構的理解。
• 協同模擬框架：透過模擬多輪人機互動過程，動態評估對話走向與任務進展，進而計算策略的多階段收益，強化正向互動行為。
• 強化微調（Reinforcement fine-tuning）：以強化學習方法，利用多輪獎勵信號微調預訓練的 LLM，使模型逐步習得主動探索用戶意圖及提出建議的能力。

整體來說，CollabLLM 不僅是技術上的改良，更是一個強調「合作精神」的思維轉換，使 AI 能真正成為用戶的夥伴，而非單純的回答機器。

主要實驗與結果

為驗證 CollabLLM 的效能，作者設計了多輪互動基準測試，涵蓋三大挑戰性任務，其中包括：

• 文件創建（Document Creation）
• 任務規劃（Task Planning）
• 複雜問題解決（Complex Problem Solving）

使用多項定量指標和 LLM 內評估者判斷結果，CollabLLM 平均提升任務表現約 18.5%，整體互動性評分更高出 46.3%。這代表模型不僅完成任務更佳，也展現出更自然且主動的對話策略。

此外，研究團隊進行了包含 201 位真人評審的大規模用戶研究。使用者回饋顯示 CollabLLM 顯著增加對話滿意度約 17.6%，且在完成相同任務時，使用者所花費的時間降低了 10.4%，彰顯該框架在提升互動效率和用戶體驗上的價值。

對 AI 領域的深遠影響

CollabLLM 的貢獻在於從根本上改變了大型語言模型的交互視角，由「被動回應型代理」蛻變為「主動協作者」，此理念突破了目前單回合稀疏獎勵束縛，推動多輪、長期視野的語言理解與生成研究。

對研究者而言，CollabLLM 示範了如何有效整合強化學習與自然語言處理，並提供了可推廣的多輪互動獎勵設計與訓練機制，為未來研發更具溝通能力與合作精神的智能代理奠定基礎。

實務層面，CollabLLM 為客服助手、創意寫作、教育輔助乃至複雜決策支援系統帶來全新機會。隨著模型不再僅是知識的終端提供者，而是能洞察用戶意圖、主動參與互動的協作者，人機共創能力將大幅提升，推動 AI 融入更多日常應用與專業領域。

總結來說，CollabLLM 不只是一篇技術論文，更是邁向「以人為本」AI 系統的重要一步。它不僅深刻影響多輪對話系統設計，更啟發業界與學術界重新思考如何讓 AI 建立真正的合作夥伴關係。

---

論文資訊
📄 CollabLLM: From Passive Responders to Active Collaborators
👥 Wu, Galley, Peng, Cheng, Li, Dou, Cai, Zou, Leskovec, Gao
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.00640

Data Shapley in One Training Run：高效精準的單次訓練數據貢獻度評估

在現代機器學習領域，數據的重要性無庸置疑。模型性能往往直接受限於數據品質及其結構分布，因此理解並量化「單筆數據對模型的貢獻」成為一大研究熱點。Data Shapley（數據 Shapley 值）方法作為一種理論嚴謹的數據價值衡量框架，基於合作博弈論中 Shapley value 的概念，量化每筆訓練資料對模型性能的邊際增益，進而幫助資料篩選、資料授權、模型解釋等多方面應用。然而，傳統的 Data Shapley 計算方法需要在大量資料子集上重新訓練模型，計算成本極高，使得其在大規模模型和數據集上難以實用，更遑論針對單次訓練得到的具體模型進行精確歸因。

針對上述挑戰，Wang 等人在 ICLR 2025 發表的傑出論文《Data Shapley in One Training Run》創新性地提出「In-Run Data Shapley」方法，實現了在一次標準訓練過程中直接計算數據貢獻度，極大地提升了計算效率與實用的可行性。此突破使得過去難以觸及的數據歸因問題得以在現代大規模預訓練（foundation model pretraining）階段首次被精確評估，為數據透明化、版權保護、資料庫優化和模型可信度等領域帶來革命性影響。

研究背景與動機

隨著深度學習模型規模不斷擴大，尤其是大規模基礎模型（如 GPT、BERT 等）訓練通常使用海量且來源複雜的數據集。理解「哪些數據實際有助於提升模型性能」變得尤為重要，這不僅關乎模型效能，也涉及到資料授權、隱私權、以及生成式 AI 內容的版權爭議問題。傳統 Data Shapley 框架雖理論完善，卻在計算上極為昂貴，因為它需要多次反覆訓練熱門模型的不同子集以計算每筆數據的邊際影響，導致無法應用於實際大規模預訓練場景。

此外，現有方法的 Shapley 值都是基於「模型訓練算法的整體期望」，並非針對特定的一次訓練結果或者實際獲得的單一模型。這意味無法精確評估特定實例模型對單筆數據的依賴度，限制了數據歸因的精細化和針對性分析需求。

核心方法與創新

「In-Run Data Shapley」的核心創新在於將數據 Shapley 計算融入單次模型訓練的流程中，摒棄了傳統需重複訓練多模型的繁重過程。具體而言，作者提出了一種理論與實踐結合的新框架，通過在訓練過程中即時計算各數據點的邊際貢獻，利用模型參數更新的細粒度資訊來推斷其對最終模型性能的實際影響。

該方法核心步驟包括：

• 利用訓練過程中梯度與損失函數變化的即時追蹤，結合適當的數學近似，推導數據樣本的貢獻度估計公式。
• 設計高效演算法可在不額外大幅增加運算開銷的情況下，於一次訓練迭代內同時計算數據貢獻分數，實現「零冗餘」的數據權重評估。
• 將評分機制直接與最終訓練模型綁定，完成對單一訓練結果的特定歸因，打破過去只能針對整體訓練算法期望給出一致評價的限制。

此方法最具挑戰的部分是如何在保證貢獻度估計準確度的同時，避免傳統 Shapley 計算複雜度帶來的指數級增長。論文採用了精妙的數學推導及近似技巧，加上系統實現優化，使其在實際神經網絡訓練管線中幾乎零額外成本地完成評估。

主要實驗結果

作者在多種深度學習任務上進行了廣泛的實驗驗證，涵蓋圖像分類、自然語言處理以及大型基礎模型預訓練階段，取得以下關鍵成果：

• 高效性驗證：In-Run Data Shapley 在單次訓練流程中執行，額外時間開銷極小，與標準訓練流程相比僅有微幅增加，與傳統 Data Shapley 需要重訓數百甚至上千次模型相比計算成本降低數十至數百倍。
• 精準性評估：與經典的重訓方法計算的 Shapley 值高度相關，驗證了方法在保有理論基礎嚴謹度的同時，做出了準確且合理的數據價值估量。
• 實用案例分析：在基礎模型預訓練階段，首次實現了大規模數據貢獻度的調查與可視化，揭示部分數據子集對最終模型表現具有顯著而具體的影響，為數據篩選、內容版權釐清提供了量化依據。
• 法務與倫理探討：利用數據 Shapley 評估結果，討論生成式 AI 中數據版權的責任劃分，為日益嚴峻的 AI 版權爭議提供了全新思路，促進監管政策發展。

對 AI 領域的深遠影響

《Data Shapley in One Training Run》這篇論文的貢獻不僅是算法層面的突破，更對以下幾個方面產生了長遠影響：

1. 數據價值金融化與版權管理

隨著生成式 AI 技術大放異彩，訓練數據的合法性與版權屬性越發重要。In-Run Data Shapley 的高效計算能力使得單筆數據的價值能夠被量化和追蹤，有助於未來建立數據交易合理定價機制和授權策略，促成數據產業的良性發展。

2. 預訓練數據品質控管與優化

在大型模型預訓練中，能精確識別與評估數據子集及個體對模型性能的貢獻，有助於資料科學家進行數據清洗、過濾噪聲數據以及制定策略以挑選高質量資料。此舉可提升模型效果，降低訓練成本，並增強實際應用可信度。

3. 模型可解釋性與信任構建

過去數據貢獻分析受限於計算困難與方法泛化，無法針對特定模型精準解釋資料影響。In-Run Data Shapley 協助研究者和用戶了解模型決策背後的數據依賴性，提升模型透明度和解釋能力，是邁向可信 AI 的重要技術支柱。

4. 推動相關技術研究與應用擴展

此項工作將激發對數據貢獻度計算方法的後續研究，促進結合強化學習、持續學習、多任務學習等場景的數據價值分析。同時為監管機構和業界提供可行工具，促進 AI 生態系更加健全、公正。

總結而言，《Data Shapley in One Training Run》以其突破性的理論與工程實現，成功將數據貢獻度評估從理論走向大規模應用，是 AI 頂會 ICLR 2025 中一篇兼具學術深度與實務影響力的傑出論文。對於從事數據管理、模型訓練優化、生成式 AI 法規擬定的工程師與研究人員而言，此論文提供了全新視角與強大工具，開啟了理解數據與模型關係的嶄新篇章。

---

論文資訊
📄 Data Shapley in One Training Run
👥 Wang, Mittal, Song, Jia
🏆 ICLR 2025 · Outstanding Paper Honorable Mention
🔗 arxiv.org/abs/2406.11011

Learning Dynamics of LLM Finetuning

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域的廣泛應用，如何透徹理解其在微調（finetuning）過程中的學習動態，成為了AI研究中的一大挑戰與熱點。Ren與Sutherland於2025年ICLR發表之傑出論文《Learning Dynamics of LLM Finetuning》，正是針對此議題提出創新分析框架，旨在深入剖析不同微調策略下模型學習的行為及其演進機制，並對訓練過程中常見的現象如「幻覺」問題和直接偏好優化（Direct Preference Optimization, DPO）效果退化提出理論解釋。

研究背景與動機

大型語言模型因其龐大參數量與複雜的訓練數據，使得其微調過程充滿不可預測性與不透明性。尤其在應用層面，透過指令微調（instruction tuning）或偏好微調（preference tuning）來提升模型輸出對使用者意圖的對齊（alignment），已成為提升模型實用性的重要方法。然而，在微調過程中，模型行為可能出現不盡理想的現象，例如微調後產生錯誤資訊的「幻覺」加劇、或是直接偏好優化訓練時間過長反而令期待的輸出概率下降。這些現象不僅困擾AI工程師，亦限制了微調方法的進一步優化。

傳統對學習過程的理解多停留在宏觀的性能提升或損失變化，而缺乏分析單個訓練樣本對模型整體行為影響的微觀視角。於是，本論文提出「學習動態」（learning dynamics）的概念，即通過分解學習過程中，特定訓練樣本如何影響模型對其他輸入的預測路徑與決策，來全面揭示微調的內在運作機制。

核心方法與創新

作者設計了一套框架，透過分步驟的影響力累積分析，量化每一個訓練樣本如何逐漸改變模型在不同回應上的行為。此方法不僅能統一解析指令微調與偏好微調中的學習過程，還首次從理論層面提出具體假設來解釋微調後常見的幻覺現象。

具體而言，研究發現模型在微調過程中會出現一種交互干擾效應，如在回答問題A時，模型可能錯誤地借用對問題B相關的表述或事實，導致產生不準確或重複的簡單片語。這種「資訊錯位」現象，是傳統方法無法有效捕捉的，而本框架透過動態影響分析，成功將其建模展現。

此外，論文也深入探討偏好微調中「擠壓效應」（squeezing effect）。在離政策（off-policy）的DPO方法中，持續訓練過久反而會讓模型降低生成理想答案的概率，這看似反直覺的現象，透過作者框架中對影響力累積的分析得以合理化解釋。相對地，作者也指出，在政策（on-policy）DPO等變體中，適當的訓練策略如何避免此效應，從而收穫更穩定且強化的性能提升。

最後，該框架不僅揭露了微調過程的本質性質，也基於此基礎提出了一種簡潔而高效的微調方法，進一步強化模型對齊效果，大幅提升調教效率和模型可靠性。

主要實驗結果

作者利用多種大型開源與商業語言模型，系統性地驗證他們的分析框架與假設。實驗涵蓋不同類型的微調任務，包括指令微調、基於人類偏好的強化學習（RLHF），以及直接偏好優化。

• 幻覺現象的增強機制：實驗透過分析單步訓練影響力，成功捕捉到微調中常見幻覺錯誤的來源，並指出模型如何在不同問題答案間出現信息「污染」與重複性融合，這也解釋了為何簡單重複片語經常被生成。
• DPO擠壓效應驗證：離政策DPO隨訓練步數增加導致理想輸出概率下降的行為，在作者的學習動態框架下得到定量評估。並透過比較不同DPO訓練策略，展示如何有效避開此負面效應。
• 實際效能提升：提出的改良微調方法在多項下游任務中，相較傳統方法達到顯著更好的用戶對齊指標與語言生成質量。

對AI領域的深遠影響

本論文對大型語言模型微調的理解帶來了革命性的視角，從微觀的學習影響力分解出發，為以往缺乏理論支撐的各種現象提供了有力解釋。尤其在模型「幻覺」問題日益受到關注的當下，提供了一條清晰的診斷途徑，後續研究可基於此設計針對性的修正策略。

另一方面，對直接偏好優化方法中訓練極限與穩定性的洞察，將推動該類強化學習微調技術進一步完善，使得模型能在更可控的條件下穩健提升用戶對齊。此框架亦可延伸應用於其他更廣泛的微調形式和多模態模型，為人工智慧系統的安全性與可靠性奠定堅實理論基石。

總結而言，Ren與Sutherland的貢獻不僅是技術層面的突破，更為大型模型微調領域注入了一種全新思維模式，鼓勵研究者從動態因果影響的角度審視與設計微調演算法。未來結合此架構與實際系統，將有望加速AI在真實世界應用中的精準且安全部署。

---

論文資訊
📄 Learning Dynamics of LLM Finetuning
👥 Ren, Sutherland
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2407.10490

Safety Alignment Should Be Made More Than Just a Few Tokens Deep

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域展現出卓越的生成能力，安全性與倫理方面的「安全對齊」（safety alignment）成為業界與學術界關注的焦點。所謂安全對齊，指的是確保模型產生的文本不涉及有害言論、偏見或違反使用規範。然而即使經過嚴格的對齊訓練，這些模型仍易受到「越獄」（jailbreak）攻擊 - 指透過特定提示或微調，繞過預設的安全限制，生成不當內容。ICLR 2025 榮譽論文《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》由Qi等人提出了關鍵性的觀點與技術突破，說明當前 LLM 的安全對齊還十分「淺層」（shallow），並給予具體改善方向與實驗驗證。

研究背景與動機

傳統的安全對齊方法主要集中在模型生成文本的「前幾個字元／標記（tokens）」的生成分布調整。換言之，模型透過特定調教使得生成初期的文字高度符合安全規範，進而希望整段對話也受到约束。但Qi等人發現，這樣的做法帶有根本性盲點，即安全機制只「淺層」生效，未能滲透整體生成過程。

這導致模型即使在起始幾個 token 上保持安全，後續文本卻可能開始產生越獄行為，或透過巧妙的攻擊策略跳過安全限制。舉例而言，敵意後綴攻擊（adversarial suffix attack）、預填充攻擊（prefilling attack）、解碼參數調整攻擊、以及微調攻擊等，都能利用這種「淺層對齊」的弱點，在生成過程後段產生不安全內容。這不僅威脅商用部署的安全，更限制 LLM 在敏感場景的應用範圍。

核心方法與創新

為了探討並解決淺層安全對齊問題，作者首先提出理論與實際案例，深入分析為何安全對齊往往只在生成的初始 token 起作用。研究指出，現行對齊技術（包含強化學習與微調）往往著重於初期輸出機率分布的調整，因為這在技術上較為直接且效率較高，但缺乏對後續整體生成脈絡的約束。

作者提出一個關鍵概念：安全對齊應該是「深層的」（deep），即覆蓋不僅是最初幾個 token，而是整段文本生成的過程。為此，Qi等人設計了一種正則化的微調目標函數（regularized finetuning objective），具體透過限制初期 token 上的參數更新，使安全對齊機制得以更長時間「持續生效」。該方法有效避免微調過程中攻擊者藉由調整模型前置生成行為來破壞安全性。

此外，研究展示了一系列案例研究與攻防測試，提出了多種檢測淺層對齊漏洞的具體手段，並驗證深層安全對齊在提升整體對抗魯棒性上的效果。這些貢獻不僅理論上深化了安全對齊的認識，也為實務應用提供可行方案。

主要實驗結果

論文中，作者以目前主流對齊模型為基礎，重現多種越獄與攻擊場景，包含：

• 敵意後綴攻擊：透過在模型生成文本後段添加精心設計的提示，誘使模型脫離安全約束。
• 預填充攻擊：在輸入端加入誘導內容，操控模型生成偏離安全規範的文本。
• 解碼參數攻擊：通過調整 Beam Search 等解碼參數，使模型生成更多不安全內容。
• 微調攻擊：攻擊者反覆微調模型，讓模型學會繞過最初安全設定。

在這些實驗中，淺層安全對齊模型易被成功攻破，而運用作者提出的正則化微調方法，將安全約束「穿透」至後期生成階段，模型對上述攻擊的抵抗力顯著提升。

具體數據顯示，相較於原始微調，帶有深層安全約束的模型在敵意後綴攻擊成功率降低超過 30%；微調攻擊的穿透成功率亦明顯下降，且模型生成文本的整體安全性與語言流暢度保持穩定。

對 AI 領域的深遠影響

此論文的貢獻並非僅是提升單一模型的安全防護，而是提出了一個全新的視角來思考 LLM 的安全對齊問題。現行方法過於依賴對初始 token 的調整，造成安全機制極易被編碼後期生成的方式所繞過。透過「深層安全對齊」的概念，未來研究能在設計對齊技術時，不再僅止步於「表面層」的控制，而是應涵蓋整體生成機制，從根本上增強模型的安全性。

此外，該研究提出的正則化微調策略，為防範微調攻擊提供一條可行路徑，有助於業界在商用部署中提升模型安全保障。隨著 LLM 應用日益廣泛於醫療、金融、法律等敏感領域，這種更深層且持久有效的安全對齊設計，將成為推動 AI 負責任發展的基石。

總結而言，Qi等人的《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》不僅揭露了 LLM 安全對齊目前存在的結構性弱點，也透過實際機制改進提供了解決方案，對推動未來安全可靠且具抗攻擊性的 AI 生成系統建設，具有高度指標性與啟發性。

---

論文資訊
📄 Safety Alignment Should Be Made More Than Just a Few Tokens Deep
👥 Qi, Panda, Lyu, Ma, Roy, Beirami, Mittal, Henderson
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2406.05946