Superposition Yields Robust Neural Scaling 深度簡介

在當前人工智慧的熱潮中，大型語言模型（Large Language Models, LLMs）已成為自然語言處理與生成任務的中流砥柱。這些模型的成功，部分來自一個被經驗驗證但理論尚未完全明晰的現象：模型規模越大，損失函數（loss）越低，且損失與模型大小呈現出一種冪律（power law）關係，稱為「神經刻度法則（neural scaling laws）」。然而，這個刻度法則的內在成因一直是該領域的一大謎團。NeurIPS 2025 最佳論文亞軍《Superposition Yields Robust Neural Scaling》由Liu、Liu與Gore提出了一個令人耳目一新的視角，將「特徵的重疊表示（representation superposition）」視為神經刻度法則的關鍵驅動因子。本文將深入解析該論文的動機、核心方法、實驗驗證與其對 AI 領域的深遠影響。

研究背景與動機

過去數年，規模化深度學習模型的效果顯著提升，推動業界與學術界持續擴增模型大小。然而，雖然經驗上模型越大、數據越多、計算資源越豐富，模型表現就會成指數級改善，刻度法則本身背後的數學機制卻尚未被完全理解。既有理論解釋多聚焦於模型架構、優化動力學、或是資料統計性質，但都存在解釋力不足或適用範圍侷限的問題。

該篇論文提出，LLMs 在高維向量空間中往往必須以有限維度去編碼超過維度數的特徵，這就產生「superposition」現象，即多個特徵以「重疊」方式共用相同的參數向量空間。這種重疊導致的表徵幾何結構，可能是影響刻度法則表現的關鍵因素。論文的主要動機即在於：如何透過操控這種 superposition 的強度，系統性地探究它如何影響損失函數及其與模型尺寸的關係，從而揭示神經刻度法則的成因。

核心方法與創新

論文採用了基於 Anthropic 提出的一個玩具模型架構，該模型可簡化地模擬神經網路表徵空間中的特徵表示狀況。作者的創新點在於利用「權重衰減(weight decay)」這一正則化技巧來調節 superposition 強度。具體來說，權重衰減會約束模型參數的范數，從而影響特徵之間重疊的程度，讓作者得以在同一模型框架下，控制從「弱重疊」到「強重疊」的表示模式。

透過理論分析與數值實驗，作者首先假設若數據特徵的出現頻率本身服從冪律分佈（power-law），那麼在弱 superposition 條件下，模型的損失函數的冪律降低是可期待的。此處冪律頻率分佈代表少數特徵非常普遍，而多數特徵則較罕見。然而，當 superposition 變得強烈時，損失函數的縮減不再受限於特徵頻率的分佈形式，而是普遍地呈現與模型尺寸的「反比」關係。這種強 superposition 狀態下的損失縮減，源於特徵向量表徵的幾何重疊，其結果強化了神經刻度法則的普適性和魯棒性。

此外，作者還驗證了市面上公開的 LLM 皆處於強 superposition 區域，且損失函數確實與模型維度成反比，與理論模型預測相吻合。更進一步地，該論文將其分析結果與流行的 Chinchilla scaling laws 進行比對，發現後者的尺度行為亦可由 superposition 理論框架合理解釋，證明此發現具有廣泛適用性與解釋力。

主要實驗結果

論文中，作者透過一系列精心設計的實驗，量化了 superposition 強度與損失函數刻度行為的關係。實驗主要分為三個層面：理論模擬、toy model 測試以及公開 LLM 檢驗。

• 理論模擬：作者數值模擬表明，只有當特徵頻率本身為冪律分佈時，弱 superposition 才會出現類似冪律的損失曲線；而多種非冪律頻率分佈則無法實現這一點。
• 玩具模型測試：通過調整權重衰減參數，清楚呈現了損失對模型尺寸的縮放從冪律轉為反比的轉變，這驗證了重疊強度對刻度法則的決定性影響。
• 公開 LLM 驗證：作者對公開模型如 GPT 變體進行分析，發現這些模型特徵向量高度重疊，損失與維度呈現明顯的反比關係，完全契合強 superposition 預測。同時對 Chinchilla 法則的定量對比展示了該理論能合理解釋其中的多數觀察現象。

這樣多層次、多角度的實證，使得該理論不只停留在推測階段，而是切實連結了理論與當前前沿模型。

對 AI 領域的深遠影響

本論文的最大貢獻在於從表示幾何角度，首次系統性地將「特徵重疊表示」納入神經刻度法則的解釋框架。這不僅揭示了為何大型模型能持續獲得質的提升，也為未來優化模型刻度提供了新方向。

首先，這項研究說明：超大規模模型損失降低的本質，是來自於模型參數在高維空間中高效且「重疊」地表徵超過維度數量的特徵。從實務角度看，這意味著未來設計模型與正則化策略時，應更注重控制 superposition 強度以達到更佳的泛化能力和效率。

其次，該理論為刻度定律的破壞點（breakdown point）與改進途徑提供了指標。過去我們多半將刻度法則視為無條件的擴大模型規模帶來回報，但本論文揭示了若超疊加現象變弱或特徵頻率分佈改變，刻度法則可能崩解。這對研究如何突破現有性能瓶頸十分關鍵。

最後，這一發現促進了跨領域交流，將神經網路的性能成長與信息理論、幾何學、以及統計頻率模型串聯起來，為理論神經科學與工程應用間架起新的橋梁。透過深入理解表示重疊的數學本質，我們未來或能更精準地預測及控制神經網路的學習動態與機制。

總結而言，Liu 等人的《Superposition Yields Robust Neural Scaling》不僅深化了我們對神經刻度定律起源的理論認識，更為未來大型模型的設計與訓練提供可行且具啟發性的策略。這篇論文極具前瞻性，無疑會成為接下來幾年內，深度學習理論發展的重要里程碑。

---

論文資訊
📄 Superposition Yields Robust Neural Scaling
👥 Liu, Liu, Gore
🏆 NeurIPS 2025 · Best Paper Runner-Up
🔗 arxiv.org/abs/2505.10465

Optimal Mistake Bounds for Transductive Online Learning

在人工智慧與機器學習領域中，線上學習（online learning）是一項重要的理論與應用研究方向。其核心目標是在資料逐步提供的過程中，不斷調整模型以降低錯誤率。本文〈Optimal Mistake Bounds for Transductive Online Learning〉由 Chase、Hanneke、Moran 及 Shafer 等人發表於 NeurIPS 2025，並榮獲最佳論文亞軍殊榮，成功解決了一個持續超過三十年的未解決難題：多標籤（unlabeled）資料在轉導式（transductive）線上學習中的力量到底有多大？本文精確量化了轉導式線上學習與標準線上學習之間的錯誤界限差距，成為該領域理論分析的重要里程碑。

研究背景與動機

傳統的線上學習理論中，錯誤界限（mistake bound）是衡量模型學習效率與效能的關鍵指標。1987年，Littlestone 定義並引入了 Littlestone 維度（$d$）作為一種衡量概念類別（concept class）複雜度的指標，並證明此維度精准刻畫了標準線上學習的最佳錯誤界限。

然而，隨著研究深入，理論社群開始探討針對「轉導學習」的錯誤界限條件。所謂「轉導學習」指的是，學習者在預測之前，已事先知道即將面對的一整批輸入資料，但這些資料尚未標籤。這種設置與標準線上學習有別，它實際上反映出許多現實場景，例如提前掌握所有測試樣本的結構資訊，但無法直接取得標籤。問題核心是：提前知道輸入序列（unlabeled data）能否顯著提升學習的效率，且這種提升究竟有多大？過去二三十年已有 Ben-David、Kushilevitz、Mansour 等學者嘗試建立轉導式錯誤界限的下界與上界，但取得的結果僅為指數級非常弱的界限，如 $\Omega(\log\log d)$ 至 $\Omega(\log d)$，與標準設定下的 $d$ 呈現巨大差距。

核心方法與創新

本論文的最大突破在於提出了全新的理論分析框架與概念構造，首次將轉導式錯誤界限下的下界提高到 $\Omega(\sqrt{d})$，這是對過去數十年來緩慢成長的分析結果的一次根本性躍升。更重要的是，他們證明這個下界是「緊致的」（tight）：不僅存在一類 Littlestone 維度為 $d$ 的概念類別，其轉導式錯誤界限可達到 $O(\sqrt{d})$。因此，該論文成功建立了這兩者之間的「二次根」關係，意即轉導式學習在理論上相較於標準線上學習，錯誤數量減少了「平方根」等級。

具體來說，論文的方法包含以下創新：

• 引入新的組合結構與難學習的概念類別設計，細緻描述在轉導式情境中，使被動取得的未標記輸入所創造的學習優勢。
• 優化策略設計並利用先見之明（look-ahead）的未標記資料，提出精準的學習演算法，使錯誤界線逼近理論下限。
• 理論證明上的創新結構，改善過去 Ben-David 等人的上界結果，將上界從先前約 $(2/3)d$ 的規模壓縮至 $O(\sqrt{d})$，將理論上下界合攏，完成錯誤界限的部分封閉。

在技術路線上，作者透過結合理論機器學習的組合方法與線上演算法設計，特別聚焦 Littlestone 維度的轉導版本解構，巧妙利用未標記資料對決策邊界的形塑能力，提供錯誤發生的最小界限。

主要實驗結果

本論文重點在理論證明與界限探究，而非傳統意義上的實徵實驗；然而，他們同時建構了一類具體的概念類別範例，說明理論界限的可達性。這類構造不僅符合各類避免過度理想化的條件，也具代表性，成為未來相關研究的基準案例。

此外，論文給出了從標準線上學習切換到轉導式設定後，錯誤預測數明顯下降的定量分析，具體體現「先見未標記資料」所帶來學習效率的爆發性提升，為未來設計更有效率的線上學習演算法提供了理論依據。

對 AI 領域的深遠影響

此研究的結果顛覆了過去對轉導式線上學習認知上的限制，明確刻畫了額外未標記資料的理論價值。相較於常見的 PAC 學習框架，該框架中轉導與標準學習的樣本複雜度表現差異不大，轉導優勢不明顯；然而在線上學習這種動態預測環境，轉導設定下可謂是「拋出驚喜的寶盒」，有著根本性的錯誤界限優越性。

在實踐層面，這說明在許多領域若能提前獲知無標籤的輸入資料序列，例如自然語言處理對話系統的後續輸入、即時視覺辨識系統中的環境情境序列，都可望在學習策略設計上取得極為有效率的錯誤抑制效果，極大提升模型的實際表現與穩定性。

從理論視角來看，本論文的精確錯誤界限打造了後續研究的一個堅實基礎，不僅深化我們對 Littlestone 維度的理解，還讓未來能往更細緻的概念類別結構、錯誤容忍機制以及半監督學習等主題延伸研究。此外，此成果也啟發了對線上學習策略整合未標記資料的新思路，對於強化 AI 系統的泛化能力與對抗能力具指標性意義。

總結來說，〈Optimal Mistake Bounds for Transductive Online Learning〉開創性地證明了在轉導線上學習環境中，透過先知識取得未標記輸入的方式，能在錯誤數量上達成接近平方根級別的極大提升，改寫了學界對於 unlabeled data 在動態學習設定下的價值評估，也為理論與應用 AI 研究鋪路新的里程碑。

---

論文資訊
📄 Optimal Mistake Bounds for Transductive Online Learning
👥 Chase, Hanneke, Moran, Shafer
🏆 NeurIPS 2025 · Best Paper Runner-Up
🔗 arxiv.org/abs/2512.12567

Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

近年來，隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域持續突破，模型的推理能力成為研究者熱切探討的核心議題。其中，「強化學習與可驗證獎勵」（Reinforcement Learning with Verifiable Rewards, RLVR）手法因其在數學推理與程式碼生成任務上的顯著提升，而引起廣大關注。學界普遍認為，透過類似傳統強化學習中「探索—利用」的機制，RLVR能使LLM不斷自我強化，從基底模型（base model）擴增新的推理能力。然而，來自Yue等人於 NeurIPS 2025發表的《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》一文，對這樣的常態認知提出了嚴謹而深刻的質疑。

研究背景與動機

隨著LLM規模擴大，模型在語言生成、推理與複雜任務上表現卓越，但模型的推理能力主體仍受限於基底訓練資料與架構。傳統的強化學習（RL）透過獎勵回饋，讓智能體在環境交互中學習達成目標的策略。將這思路應用於LLM中，即透過設計可驗證的獎勵機制引導模型生成更優推理解答，進而期望它展現出超越基底模型的推理模式和能力。過去一些研究因RLVR在特定領域（如數學題解答、程式碼修正）展現爆發式提升，社群普遍樂觀地相信RLVR能啟發LLM具備嶄新推理手法。

不過，這篇論文洞察到，目前大多數RLVR研究仍停留於驗證提升準確率，而未系統探討提升推理能力的本質為何？此外，模型在多重解答中表現是否能超出基底模型的極限，亦是鮮有論述。為此，本論文以嚴謹科學方法切入，針對多個LLM家族、不同RL演算法，並涵蓋數學、程式碼與視覺推理等多類任務，使用大k值的pass@k作為評估指標，全面剖析RLVR訓練後模型的推理極限。

核心方法與創新

本研究的核心方法涵蓋幾大創新點：

• 系統化跨模型、多演算法評測：作者挑選六種主流RLVR演算法，包括基於策略梯度、Q-learning等不同機制，同時涵蓋多個LLM架構，藉此拆解RLVR對推理能力增強的普適性與侷限。
• 廣泛多任務、多指標驗證：任務跨足數學推理（如算術推導）、程式碼編寫與修正、以及視覺相關推理，比以往只聚焦單一任務更全面。評估指標以pass@k為主，但特別強調大k值（例如k=100或更高），用以觀察生成多樣解的覆蓋率與能力邊界。
• 深入覆蓋率與困惑度分析：作者不僅評估標準的正確率，更從生成多樣性與模型困惑度（perplexity）層面分析，探索模型是否真的透過RLVR形成新的“思考路徑”，或只是重新排列基底模型已有的知識。
• 比較蒸餾（Distillation）方法的效果：除RLVR外，該研究特別比較蒸餾技術對推理能力的影響，提供一個基準看RLVR是否能「真正」擴展模型的能力邊界。

主要實驗結果

實驗結果同時令人驚訝又具啟發性：

1. 短期優勢與長期極限：在小k值的pass@k（例如只取1次生成），RLVR訓練後的模型確實表現優於基底模型，表現如同文章標題所述使推理能力「看似」增強。但隨著k值增大，基底模型在覆蓋率與多樣解答廣度上反而超過RLVR模型，這意味著RLVR並未挖掘出超越基底模型的「新推理模式」或「新策略」。
2. 推理能力中樞源自基底模型：透過困惑度和覆蓋度分析，研究證明RLVR模型實際運用的是基底模型中內建的「潛能」，RL過程等於是聚焦於更有效的利用或篩選，但未注入根本的新演繹能力。
3. 六種RLVR演算法表現雷同且仍未最佳：實驗中各演算法的推理能力提升幅度相近，且均未能逼近基底模型能力的理論極限，顯示現行RLVR技術尚有明顯優化空間。
4. 蒸餾技術能擴展推理能力：作者發現，透過老師模型蒸餾給學生模型，能將教師的「新推理模式」有效帶入學生模型，使其推理能力得以突破基底模型範圍。有別於RLVR，蒸餾可發掘並傳遞更本質的認知策略。

對 AI 領域的深遠影響

本論文提供了一個重要且務實的洞見：當前RLVR方法雖在多項任務上提升LLM表面推理表現，但這種提升大多是基底模型能力的優化，而非創新推理能力的誕生。透過嚴謹實驗與精確分析，研究動搖了目前業界對 RL 促進LLM推理力質變的普遍期待。

這不僅影響未來RL在語言模型調適的策略設計，更提出了新挑戰：如何設計更高效、持續且能與環境進行多回合交互的RL範式，才能真正激發LLM新型態的認知模式與推理能力？同時，研究揭示蒸餾等技術依然是有效開拓模型推理能力的重要工具，暗示跨模型知識傳遞或許是實務中提升推理能力的關鍵路徑之一。

對於正在深入開發高效、靈活推理LLM的科研與工程團隊，本論文具備以下啟示：

• 不宜過度依賴現有RLVR方法提升模型推理能力，應理解其提升多為優化基底表現而非能力邊界突破。
• 必須設計更具探索性、長期交互且多階調控的強化學習架構，嘗試解放模型隱藏潛能，並檢驗實際能否形成全新的推理思維。
• 可透過模型蒸餾等多元訓練策略，相互借重強化學習與蒸餾技術的優勢，協同提升模型質與量的推理力。

總結來說，這篇榮獲NeurIPS 2025 Best Paper Runner-Up的論文，以嚴謹批判的研究態度提醒了整個AI研究社群：推理能力的提升不應僅止於表層指標的堆疊，更需打破基底模型設限，真正打造具有「原生認知創新」的大型語言模型。未來RL與LLM的結合仍有無限可能，唯有深化算法本質及訓練機制，方能突破現有瓶頸，引領人工智慧邁向更智慧、更符合人類思維的全新里程碑。

---

論文資訊
📄 Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
👥 Yue, Chen, Lu, Zhao, Wang, Song, Huang
🏆 NeurIPS 2025 · Best Paper Runner-Up
🔗 arxiv.org/abs/2504.13837

Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training

在過去幾年，擴散模型（Diffusion Models）在生成任務中展現了驚人的成果，成為當前生成模型領域的研究熱點。這類模型透過模擬數據逐步加入噪聲的過程，並反向還原噪聲，成功生成高質量且多樣化的數據樣本。然而，隨著訓練時間與數據容量的增加，一般深度學習模型常會面臨過度擬合（memorization）的問題，也就是模型可能僅僅「背誦」訓練資料而缺乏真正的泛化能力。此現象在生成模型中同樣關鍵，因為過擬合將導致生成樣本缺乏真實的多樣性，從而影響模型的實用性與可靠性。

本論文由 Bonnaire 等人發表於 NeurIPS 2025，榮獲最佳論文獎，主要針對擴散模型訓練過程中為何不易出現記憶行為提出深刻洞見。作者通過結合大規模數值實驗及嚴謹理論分析，揭示了一種稱為「隱式動態正則化（implicit dynamical regularization）」的新現象，此機制有效地在參數超過訓練資料量極大時，仍能防止過度擬合的發生，並維持模型的良好泛化能力。

研究背景與動機

擴散模型的優異性能引發社群對其訓練機制及泛化理論的強烈興趣。與傳統生成對抗網絡（GAN）或自回歸模型相比，擴散模型透過逐步加入與去除隨機噪聲的機制，提供了更穩定及有效的生成途徑。然而，擴散模型在過度擬合的行為與時間尺度理解尚不充分。過往的研究大多從靜態角度或參數正則化層面探討模型泛化，但鮮少關注訓練動態對模型最終行為的影響。

本論文從「時間」維度切入，深入分析擴散模型訓練過程中隨時間演化的兩個本質時刻：一是模型開始生成高品質樣本的時間點（稱為 $\tau_\mathrm{gen}$），二是模型開始明顯記憶訓練資料的晚期時間點（稱為 $\tau_\mathrm{mem}$）。作者發現這兩個時間尺度相對獨立，且 $\tau_\mathrm{mem}$ 會隨訓練資料數目線性增加，而 $\tau_\mathrm{gen}$ 則保持穩定不變。

核心方法與創新

此外，作者採用了標準 U-Net 架構在真實及合成資料集上的實驗，並搭配理論上易於解析的隨機特徵（random features）模型，於高維極限下嚴謹證明了發現的理論基礎。此理論模型捕捉到了擴散模型訓練動態的關鍵機制，成功解釋了為何擴散模型在「長時間訓練 + 大量資料」條件下依然能保持泛化能力。

研究中提出的隱式動態正則化指的是訓練過程中動態演化本身帶來的正則化效果，這種效果天然地抑制模型過早記憶訓練數據。與明確加入的正則化技術（如權重衰減、Dropout 等）不同，隱式動態正則化依賴於訓練動態中兩個時間尺度的分離，形成一個「良性窗口」，讓模型先達到高質量生成，才開始出現記憶行為。而且隨著資料量增加，此窗口逐漸擴大，給予足夠訓練時間來學習泛化特徵。

主要實驗結果

透過大規模實驗，作者確認以下關鍵事實：

• 時間尺度分離：生成能力的起點 $\tau_\mathrm{gen}$ 與記憶開始的時間 $\tau_\mathrm{mem}$ 明顯分離，且 $\tau_\mathrm{mem}$ 與資料量呈線性關係。
• 資料量影響記憶起點：隨著訓練資料量增加，模型記憶行為會被推遲，這代表更多資料能擴展模型泛化的安全訓練時間窗口。
• 超參數與模型結構的穩健性：此現象在不同擴散模型架構（例如 U-Net）與多類型資料集（合成與真實）中均一致出現，具有高度通用性。
• 理論模型吻合實驗：隨機特徵理論模型的解析解成功捕捉上面實驗現象，驗證隱式動態正則化為擴散模型泛化的根本原因。

對 AI 領域的深遠影響

本研究對生成模型理論與實踐產生重大啟示。首先，它突破過去對擴散模型泛化的理解，將訓練過程中的時間維度與動態演化納入核心分析框架，提供全新視角來看待訓練與泛化的關係。其次，隱式動態正則化的發現揭示了過度參數化模型仍能泛化的本質機制，這對深度學習理論具有深遠價值，並可推廣至其他類型神經網絡。

此外，該研究對生成模型的訓練策略設計有實際指導意義。根據結果，合理選擇訓練時間與資料量能有效避免過度擬合，而非盲目延長訓練，為現有擴散模型的訓練提供了理論依據與操作指南。未來研究可基於此框架進一步探討如何設計更智能的動態調整機制，提升大規模生成模型的安全性與穩定性。

綜合而言，《Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training》這篇論文不只回答了擴散模型為何不易記憶訓練資料的核心問題，更揭示了訓練動態中隱藏的正則化機制，為生成模型理論發展揭開新篇章，值得 AI 研究者與工程師深度學習與借鑒。

---

論文資訊
📄 Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training
👥 Bonnaire, Urfin, Biroli, Mézard
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.17638

1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities

在過去的幾年裡，自監督學習（Self-Supervised Learning, SSL）在語言和視覺領域帶來了革命性的突破，如 GPT、BERT、Vision Transformers 等大型深度模型的成功。然而，在強化學習（Reinforcement Learning, RL）上，尤其是無監督且目標導向的強化學習領域，類似的規模擴展帶來突破的嘗試與成果卻較為稀缺。由此，Wang 等人在 NeurIPS 2025 發表的論文“1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities”帶來了一個激動人心的進展：藉由大幅增加網路深度至多達 1000 層以上，在無需範例示範或外部回饋的自監督強化學習設定中，顯著提升了演算法的目標達成能力。

研究背景與動機

強化學習的一大瓶頸在於對獎勵信號的強烈依賴，尤其在無人類標註或沒有明確獎勵的情境下，演算法往往難以有效探索與學習。為此，目標導向的自監督強化學習逐漸興起，演算法由環境狀態出發，以「能否抵達特定目標」本身作為指標，重點放在自主探索與目標達成。過去主流的強化學習模型多採用相對淺層（約 2 至 5 層）的神經網路結構，出於計算資源限制與訓練穩定性的考量。

然而，參考語言與視覺模型在擴大深度（層數）後帶來表現躍升，作者團隊提出一個關鍵問題：深層網絡的規模增長是否也能同樣為自監督強化學習注入全新的能力？這個假設引導他們深入研究如何透過極端擴展深度，改變 RL 代理人在無獎勵環境中的行為學習與目標達成表現。

核心方法與創新

本論文的核心貢獻是提出並驗證了在自監督情境下，將原本淺層的 RL 網絡架構擴展至多達 1024 層深的巨大網路，能在無需額外監督的前提下大幅提升目標達成率。這裡的自監督強化學習，主要是基於 對比學習（contrastive learning） 來最大化達成目標的似然或概率，代理人必須從零開始，循環實驗、學習如何達到指令下達的目標狀態。

為了緩解超深網路訓練中的梯度消失、爆炸與收斂困難，作者引入多項關鍵技術：

• 殘差連接（Residual Connections）：帶領訊息可以跨層流動，避免消失。
• 分層正規化（Layer Normalization）：確保激活分布穩定，促進深層訓練。
• 梯度剪裁與學習率調度：防止梯度爆炸與過快收斂。

此外，論文還強化了目標條件式神經網路架構的設計，使模型能有效整合當前狀態與目標表示。改變深度不只是疊加層數，而是打通了網絡的「感知深度」，讓模型能從抽象概念到細節執行都更具表現力和靈活性。

主要實驗結果

作者在多個經典的模擬環境中驗證了其方法，涵蓋機器人行走（locomotion）及操作（manipulation）任務，且明確採用無外部回饋的目標導向學習設定。實驗結果震撼：

• 深度增加帶來的效益呈現指數級成長，成功率較原本淺層基線方案提升 2 倍至最高 50 倍以上。
• 模型深層數量遠超過以往強化學習文獻中常見的 2 至 5 層，接近 1000 層，卻沒有觀察到訓練崩潰，充分展示了方法的穩定性與可行性。
• 行為質量有顯著提升：深層模型學習到更為細膩、多樣且策略性高的行動策略，遠非淺層模型能達成。例如在達成複雜操控目標時，深度網絡能規劃多步驟路徑，而非一味追求局部最優的動作。

另外，論文也跟其他現有目標導向強化學習基線方法進行對比，結果顯示無論是成功率還是行為多樣性，本方法都具備明顯優勢。這點尤其重要，因為自監督強化學習核心挑戰在於無目標或回饋設計的限制，能藉由更深模型學習出有效策略，是一大突破。

對 AI 領域的深遠影響

此論文挑戰了過去強化學習領域中關於網絡架構深度的慣例，證明即便在高度不穩定與非結構化的自監督環境中，極深網絡仍然可行且帶來巨大性能躍升。此發現意味著：

1. 自監督強化學習具備更大潛力： 隨著計算硬體與訓練技術進步，未來可開發更深更複雜的 RL 模型，突破目前目標探索與策略學習的瓶頸。
2. 網絡深度成為 RL 根本影響因素之一： 過去除非研究結構改進或獎勵設計，少有研究專注通過大幅增加深度來提升性能。本論文為 RL 界開闢了一條新的設計思路。
3. 跨領域模型設計融合趨勢： 強化學習與自監督學習、深層網絡設計等多個領域的交叉革新，將推動機器學習理論與應用更緊密結合。
4. 助力開發通用智能代理人： 在無監督或極少監督的環境中，自主學習達成複雜目標的能力，是建立類人智能或通用人工智能（AGI）關鍵基石。

總結來說，Wang 等人提出的「千層網路」自監督強化學習架構，昭示了超深層次結構在 RL 領域的嶄新應用街道，擴展了工程師與研究者對模型架構規模和訓練策略的想像空間。未來若能結合更高效的訓練方法和大規模計算資源，其在機器人學習、自動駕駛、遊戲 AI 乃至自主代理系統等方面的潛力將更為廣闊。

最後，論文的開源程式碼與詳盡實驗設定，使得其他研究者可直接重現與延伸這項研究，促進了學術與產業社群的合作與交流。這對於推動整個 AI 強化學習生態系統健康發展，具有相當重要的意義。

---

論文資訊
📄 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
👥 Wang, Javali, Bortkiewicz, Trzcinski, Eysenbach
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2503.14858

Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free 深度解析

隨著大型語言模型（Large Language Models, LLMs）的快速演進，注意力機制（Attention Mechanism）作為核心架構之一，扮演了決定性角色。從Transformer架構的成功以來，研究者不斷嘗試改良注意力機制，以提升模型效能與訓練穩定性。其中，門控機制（Gating Mechanism）作為一種有效引入非線性和調控能力的工具，被廣泛應用於LSTM、Highway Networks，以及各式線性注意力與狀態空間模型中。然而，針對門控在標準Softmax注意力中的具體影響，過往研究卻相對有限和分散。

在2025年NeurIPS頂會發表的〈Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free〉一文中，Qiu等人系統性地探討了門控機制融入Softmax注意力的效果，並以此提出一種簡潔而強大的改進策略。該論文獲選為Best Paper，凸顯其在大規模語言模型領域的重大貢獻。

研究背景與動機

近年來，隨著模型規模的爆炸性增長，如何提升注意力層的表達力和計算效率成為研究焦點。雖然Softmax注意力因其理論基礎穩固和效果卓越而持續被採用，卻存在一些隱藏瓶頸，如注意力分布過度均勻、缺乏對重要位置的精細區分能力等。此外，訓練大型模型時，Softmax注意力有時也會面臨「attention sink」問題，導致模型難以利用更長的上下文信息。

門控機制自神經網絡出現即被證明可增加模型的非線性和選擇性，像是在LSTM中Gate決定信息流的保留與忘卻，乃至於各類變體如Mixture-of-Experts（MoE）架構都依賴門控引入稀疏性和模塊化。然而，這些成功並未驅使人們深入理解門控對Softmax注意力具體帶來哪些機理層面的優勢，以及如何系統且高效地將其整合。

核心方法與創新

本論文的核心貢獻在於提出並驗證了一個極為簡單卻效果明顯的門控機制：在標準Scaled Dot-Product Attention（SDPA）輸出後，為每個attention head新增一個head-specific的Sigmoid門控。換言之，該門控會根據query條件對每個head的輸出分配一個[0,1]之間的調節係數，導入非線性變換和稀疏調控。

作者透過兩大模型類型的廣泛實驗驗證此機制：15B參數的MoE模型與1.7B參數的dense模型，訓練語料高達3.5兆token。多達30種不同門控變體被系統地比較，最終確認在SDPA結束後施加sigmoid門控的效果最佳。

該設計帶來兩個關鍵的技術突破：

• 非線性的引入：Softmax本身是可微的，但缺少額外非線性轉換。此門控結構增加了一層query依賴的非線性變換，使模型更能捕捉複雜交互特徵，從而增強表示能力。
• 稀疏性調控：門控機制根據query條件動態產生稀疏的激活模式，抑制部分attention head輸出，減少無意義或干擾性信號，提高信息傳遞的純淨度與專注度，成功緩解了「attention sink」現象。

值得一提的是，作者還分析了門控施加的不同層級位置與算子變體，確認該門控直接作用於SDPA輸出效果最佳，且餘下的注意力結構不需大幅調整，便可直接應用於現有Transformer模型。

主要實驗結果

在極大規模訓練與評測中，作者證明新加入的門控不僅提升了模型的最終性能，而且增加了訓練的穩定性與擴展性。具體亮點包括：

• 性能提升：15B MoE和1.7B dense模型在多項自然語言處理任務（如語言建模、長文本推理、上下文擴展）上均取得顯著提升，相較於無門控基準模型，困惑度（perplexity）與下游任務指標均有明顯改善。
• 訓練穩定性與學習率容忍度：門控結構讓模型可以採用更大學習率，有效加快收斂速度且降低震盪風險，顯著減少訓練中梯度爆炸或退化的問題。
• 長上下文泛化能力：透過稀疏門控緩解attention sink問題，使模型能更有效利用長篇上下文資訊，提升模型在多段落推理和長文本生成上的能力。

作者也公開了相關程式碼與模型，鼓勵社群進一步研究與擴展。

對 AI 領域的深遠影響

本論文的貢獻不僅在於提升了大型語言模型的基礎架構效能，更從理論與實證層面闡明了門控機制於Softmax注意力中扮演的雙重角色——非線性增強與稀疏調控。這為未來設計更高效、可擴展且穩定的注意力結構提供了全新指引。

首先，論文揭示了門控不僅是傳統循環神經網絡中的「控制流」，在Transformer等注意力架構中，其非線性和稀疏性調節也能關鍵提升信息選擇與表達能力，這有望激發更多跨架構的研究融合。

其次，由於可兼容現有Transformer與MoE結構，此方法易於整合於現有業界與研究實踐中，減少改動成本，支持快速迭代與規模化部署。尤其對需要長距離文本理解與生成的應用而言，該架構有效解決了長上下文依賴的瓶頸。

最後，此研究也啟示未來可結合更多動態稀疏機制與門控策略，構築更具自適應能力的深度學習模型。隨著模型規模和複雜度持續攀升，這類機制有望成為提升模型效率與智能化的重要突破口。

總結而言，〈Gated Attention for Large Language Models〉不只是一次架構細節的改進，更是對Softmax注意力本質的一次深刻剖析與革新，為大型語言模型的設計和訓練開啟了嶄新篇章。未來相關的門控注意力研究勢必成為推動自然語言處理與生成模型前沿進展的重要力量。

---

論文資訊
📄 Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
👥 Qiu, Wang, Zheng, Huang, Wen, Yang, Men, Yu, Huang, Huang, Liu, Zhou, Lin
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.06708

Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) 深度解說

隨著大型語言模型（Language Models, LMs）在自然語言生成領域日益普及，其在創造力與多樣性上的能力，特別是在開放性問題（open-ended prompts）上的表現，成為近年研究焦點。NeurIPS 2025 年最佳論文《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》由江偉、柴志堅等多位研究者發表，深入探討 LMs 在面對開放性、多樣化的用戶查詢時可能表現出的「人工集體思維效應（Artificial Hivemind）」。本文將從研究背景、核心方法、實驗結果及其對 AI 領域的深遠貢獻等層面，為讀者做詳盡解說。

研究背景與動機

現有大型語言模型雖已在多項任務展現不俗表現，但在生成富有多樣性、富創意的內容時仍存在侷限。這種侷限不僅會限制模型的應用範圍，更引發一項社會文化的潛在風險——透過大量且反覆地曝光於相似的主流機器生成內容，可能造成「人類思維同質化」，影響思想多元性與創新。學術界稱這種現象為「模式崩潰（mode collapse）」，即模型在開放性生成任務中反覆生產相似甚至雷同答案。

然而，過去衡量語言模型生成多樣性的研究多集中於極窄的任務範疇（例如隨機數生成或名字產生），且多為單一模型反覆生成的評估，缺乏針對多模型、多元人類需求下的系統性研究。此外，公開的大量多樣化開放性對話資料集亦相當稀缺，這限制了理解和改進模型多樣性表現的可能。

因此，本論文初衷為創建一個大規模且貼近真實多元用戶需求的對話資料集，並系統性地探討不同語言模型間以及單一模型內部在開放性生成任務上的同質化現象，期望藉此揭示並量化“人工集體思維（Artificial Hivemind）”效應，為未來提升生成多樣性，以及減緩AI帶來長期社會風險奠定基礎。

核心方法與創新

本研究的關鍵貢獻在於提出並實現了多項重要創新：

1. Infinity-Chat 資料集建置

作者設計並公開了一個名為 Infinity-Chat 的大型開放性對話資料庫，收錄超過 26000 筆真實世界的用戶多樣化查詢，這些查詢均沒有單一「標準答案」，支持多種合情合理的回應。Infinity-Chat 不僅具備範圍廣泛的主題，還細分為 6 大類及 17 個子類別，例如「頭腦風暴與創意發想」等，涵蓋了日常生活、專業諮詢、藝術創作等多方面內容，用以全面捕捉用戶在開放式對話中的多元需求與期待。

2. 多面向同質性研究框架

論文定義並量化兩大層面的同質化現象：

• 模型內部重複（Intra-model repetition）：同一語言模型針對相近或相同提示多次生成回應時，答案間的相似度偏高，顯示生成內容缺乏內在變異。
• 模型間同質性（Inter-model homogeneity）：不同訓練架構與參數設計的模型，面對相同開放性提示時，仍大幅產生相似的回答路徑，形同形成一種「人工集體思想」的狀態。

這種比對不同模型之間同質化的手法，是目前文獻中首次大規模且細緻地揭露語言模型群體在開放式生成時的齊頭式表現。

3. 大規模人類評價集成與分析

為了衡量答案的質與多樣性，以及對模型行為的細緻理解，Infinity-Chat 還包含超過 31250 筆人類標註資料，每則回應平均有 25 人獨立評價。這些標註涵蓋絕對評分與成對偏好，讓研究得以深入分析：

• 用戶在面對開放答案時的個人差異偏好；
• 模型輸出與人類主觀評價之間的校準度；
• 獎勵模型（Reward Models）與評審系統在多樣化答案判斷上的不足，特別是在捕捉個人化需求與多樣評價上存在誤差。

這些精密的人類評價數據支持了對模型生成行為的多面向剖析，彌補過往人工評鑑樣本小、單一維度的缺陷。

主要實驗結果

基於 Infinity-Chat，作者針對數款主流及研究前沿的語言模型進行大規模實驗，結果呈現出以下關鍵發現：

(1) 強烈的模型內及模型間同質化現象

不論是大模型或中型模型，開放式生成階段均存在顯著模式崩潰，模型內部答案重複率高，而不同架構與訓練策略的模型間生成結果，意外地高度相似。這種現象不僅限於特定類型任務，而是普遍且跨領域發生，反映出語言模型彼此間受限於類似的訓練數據與目標函數，形成一種集體「思維同質化」，因此命名為「Artificial Hivemind」。

(2) 人工標註揭示多元偏好與評價校準不足

雖然模型生成的多數回應在整體質量評估上尚算穩定，但不同人類標註者對於開放式回答的偏好差異明顯，凸顯多元性需求。相比之下，當代的語言模型評分器及獎勵模型並未能有效捕捉這種多樣化的偏好差異，導致模型評價指標與用戶真實偏好的脫節。

(3) 同質化現象與用戶需求多樣性之間的矛盾

實驗進一步證實，Models雖然在整體上呈現同質化趨勢，但用戶的需求則極其多樣且個性化，這代表目前模型缺乏足夠的調節或生成策略以反映及滿足開放性語境下的多元期望。

對 AI 領域的深遠影響

《Artificial Hivemind》一文從多個層面開啟了語言模型開放性生成的新視野，對未來 AI 研究與應用提出警示與建議：

1. 提升生成多樣性與減緩模式崩潰為重大挑戰

本研究揭示 LMs 不僅內部生成多樣性不足，甚至不同模型間也高度同質，這限制了語言模型在創新應用（如創意寫作、輔助決策、多元意見呈現等）上的價值。未來模型設計需朝減少模式崩潰、強化差異性方向發展，包括改進訓練目標、多樣化訓練數據，以及開發更有效的多目標、分層生成策略。

2. 強化評價系統的多樣性與客製化能力

由於現有獎勵模型與評分機制未能準確反映人類多樣化偏好，未來 AI 評估方法應更多整合多元人類標註者的個別偏好，或引入用戶自適應機制，使模型能調整生成風格和內容，滿足不同使用者需求，從而提升使用者體驗與信任度。

3. 對 AI 安全與社會風險的警醒

「人工集體思維」的形成暗示若大眾長期接觸高同質性的 AI 生成內容，可能影響思想多樣性與創新，帶來文化與社會層面的長期風險。此篇論文促使研究者應更加重視 AI 生成文本的多元價值與人文社會影響，將 AI 安全議題拓展至「思維同質化」與資訊多樣性保護層面。

4. 建立開放性語言生成研究的基石資源

Infinity-Chat 以其大規模、高質量、多類別且人類標註豐富的資料集，成為未來開放式語言生成研究的重要基石，將驅動更多後續探索如何優化模型多樣性、構建更具包容性及個性化的互動系統。

總結

江偉等人在《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》這篇 NeurIPS 2025 的最佳論文中，系統性揭露並量化了目前語言模型在面對自然、開放式人類提問時，所表現出的顯著「人工集體思維」同質化現象。藉由 Infinity-Chat 數據集與大規模人類評價，他們不僅提供了多面向衡量與分析模型生成多樣性的工具，也提醒社會與研究界高度重視 AI 生成多樣性不足可能帶來的長期社會與文化影響。這些洞察對未來提升語言模型創造力、增加生成內容多元性，以及構建符合人類多元需求的 AI 系統，具有不可或缺的重要指引意義。

---

論文資訊
📄 Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
👥 Jiang, Chai, Li, Liu, Fok, Dziri, Tsvetkov, Sap, Choi
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2510.22954

The Value of Prediction in Identifying the Worst-Off

研究背景與動機

在公共政策與社會福利領域，如何有效識別並幫助「最弱勢群體」一直是政府與非營利組織的核心目標。隨著機器學習技術的發展，越來越多政府單位開始將預測模型應用於社會救助、健康照護、失業補助等政策執行中，期望透過精準預測來鑑別那些最需要幫助的個體，在有限資源下達到最大社會效益。然而，這樣的系統往往與傳統的以最大化整體成果（Aggregate Outcomes）為目標的設計不同，更多著眼於「公平性」（equity），即聚焦於「最弱勢」（worst-off）族群的福祉改善。

本篇由 Fischer Abaigar 等人所著、於 ICML 2025 榮獲 Outstanding Paper 的論文《The Value of Prediction in Identifying the Worst-Off》，正是在此背景下提出，深入探討預測機器學習模型在識別最弱勢個體時的價值與效果。作者指出，過去文獻多偏重模型精準度或整體報酬最優化，然而政策設計實務中，「誰被服務」比「整體回報多大」更加關鍵，因此論文著眼於分析預測在提升「弱勢識別」能力上的角色與效用，並與其他政策工具（如擴充官僚體系容量）做比較，期待透過嚴謹的數學框架與實證案例，提供政策制定者可行且具有原則的決策基礎。

核心方法與創新

論文的核心在於建立一套數學模型，來度量和比較不同政策杠桿對於最弱勢民眾福利的提升效果。作者將社會福利分解為受助者的福祉水準，並考慮選擇性誤差（selection bias）和資源有限的現實條件，進而精確定義「最弱勢」群體。接著，透過理論分析，比較了：

• 基於機器學習模型的預測工具：用以鑑別出處於最大風險或需求的對象。
• 傳統政策工具，如擴充社會服務體系的官僚能力（例如增派社工人力、擴張服務網絡）。

一項關鍵創新是論文提出結合預測精度與政策行動成本的「效用最大化框架」，使得政 策制定者能在不同策略間做出平衡判斷。作者進一步從「公平性」角度出發，考量群體內部的異質性，避免只用總體指標掩蓋弱勢族群福祉的改善與惡化。

在實證部分，論文針對德國長期失業者進行案例研究，利用德國政府的社會救助數據結合預測模型，檢驗預測方法在實際政策運作中的識別效果及其對失業者福祉的影響。這個實證分析不僅驗證理論模型的預測能力，也展示如何在真實世界中將理論轉化為政策工具，推動公平的社會干預。

主要實驗結果

實驗結果清楚指出，相較於單純擴充官僚體系容量，透過精準預測辨識最弱勢個體，能在配給有限資源時達成更高的社會福利改善，且該提升在數據充足和模型性能優良的情況下更為明顯。作者發現，好的預測模型不僅提升了弱勢族群的識別率，也進一步促使資源配置更為有效，避免因資源誤置造成的浪費。

同時，論文也揭示當預測模型存在偏誤（例如受限於資料不完備或偏頗）時，模型的價值會受到影響，甚至可能加劇不公平。因此，設計與部署預測系統時，必須謹慎處理資料品質與算法透明性，並結合其他政策工具（如擴充現場人力）以彌補模型不足。

在德國長期失業案例中，作者展示了使用機器學習預測模型能夠顯著提高政府對長期失業者的識別精準度，並透過模擬分析，評估了不同資源配分策略對提升失業者重返就業率及其福祉的貢獻。此外，結合數據驅動的工具，該研究亦提出決策輔助的流程，支持政策制定者根據實際情況調整策略，追求公平與效率的雙贏。

對 AI 領域的深遠影響

這篇論文在 AI 與公共政策交叉領域中，提供了一個極具啟發性的理論與實務橋樑。首先，它重新定位了機器學習在社會福利政策中的角色——不僅限於技術層面的預測，而是將預測視為協助「弱勢鑑別」的一種手段，在公平性面向上展示其真正價值。此一視角促使 AI 研究者思考如何從技術設計到政策落實都納入倫理、公平與社會影響的考量，而非僅追求模型精度或整體收益最大化。

其次，論文的方法論強調跨領域整合，結合經濟學、社會科學與機器學習的概念，推進了 AI 在現實世界大規模應用的可解釋性與透明度，這對於推動具備社會責任感的 AI 系統至關重要。其提出的效用最大化框架與公平性評估工具，成為後續相關研究設計公平與包容性算法的重要參考。

最後，此研究也帶來政策制定的實務啟示。傳統上政策制定者面對「有限資源與無限需求」的困境，往往難以衡量擴充官僚體系或調用新技術的成本效益；本文透過結合理論分析與實證證據，為預測技術在公共服務中的投入提供了堅實的數據支持，促使政策與 AI 技術的結合更具科學基礎與實際操作性。

總結來說，《The Value of Prediction in Identifying the Worst-Off》不僅在學術層面提供了公平導向預測系統的理論框架，更在實務上展示了機器學習技術在促進社會公正與提升弱勢族群福祉中的巨大潛力。這對於未來 AI 在社會政策中更加負責任且公平的應用發展，具備相當的指導意義與啟示價值。

---

論文資訊
📄 The Value of Prediction in Identifying the Worst-Off
👥 Fischer Abaigar, Kern, Perdomo
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2501.19334

Score Matching with Missing Data

在機器學習領域中，分布估計一直是核心且具挑戰性的任務。透過學習資料底層的機率分布模型，不僅能促進生成模型、異常偵測、圖模型學習等多種應用，更是理解資料結構的基石。其中，「score matching」作為一種無需計算正規化常數（normalizing constant）的分布學習方法，因其強大的理論基礎與實用性，成為近年研究的重要工具。然而，現實世界資料往往存在缺失（missing data）問題，無論是感測器故障、隱私限制或資料記錄不全，經常導致觀測資料不完整，這大幅增加建模的難度。儘管 score matching 在完整資料下發展成熟，過去對於如何在缺失資料情境下有效運用 score matching 支持分布估計的討論與方法卻甚少。

針對此一重要且未被充分探討的議題，ICML 2025 獲獎論文《Score Matching with Missing Data》由 Givens、Liu 與 Reeve 共同提出具有突破性的解決方案。本文不僅首次系統性地將 score matching 延伸至能處理部分缺失資料的框架，且提出兩種不同的擴展變體——基於重要性加權（Importance Weighting, IW）的方法，以及變分推斷（Variational）的方法，分別針對不同資料型態下缺失的挑戰做出最佳化。

研究背景與動機

正規分布模型通常依賴最大似然估計，但此方法在面對模型內積難以計算或缺失資料時，會面臨嚴重困難。score matching 由 Hyvärinen 于 2005 年提出，透過轉化原本的似然函數為求解分布梯度（即 score）的目標函數，免除了計算難以取得的正規化常數。而且，score matching 對能量基模型（Energy-Based Models, EBM）、擴散模型（Diffusion Models）以及圖模型（Graphical Models）等領域效果卓越，成為不可替代的分布估計技術之一。

儘管如此，真實場域中資料缺失是司空見慣的問題，這使得傳統 score matching 方法設計時假設完整資料的前提不再成立，直接應用將導致偏誤甚或不收斂。因此，如何將 score matching 安全且有效地延伸到缺失資料上，是推動其實際應用及理論進一步提升的關鍵。

核心方法與創新

本文的核心貢獻在於，提出兩套具理論保證及實務彈性的「缺失資料版本」score matching 方法：

1. 重要性加權（Importance Weighting, IW）方法：此方法透過建立一個加權機制，針對缺失資料的多樣缺口，計算觀測資料對完整資料分布的貢獻。核心在於導出一個可計算且無偏的加權得分函數，利用有限樣本下理論界限證明其收斂性與穩健性。IW 方法特別適合缺失機率隨機且維度較低的情況，並在小樣本體系中表現優秀。此方法不需對缺失機制進行假設，是一種較為非參數且通用的處理策略。
2. 變分推斷（Variational）方法：針對高維且缺失資料模式複雜的情境，作者提出使用變分推斷策略，將缺失的隱藏變量參數化為可優化的分布。透過變分下界，結合 score matching 的目標函數重新構造一組易於訓練的可微分優化目標，不僅提升可擴展性，也更能捕捉高維結構與缺失規律。這種方法在大型圖模型結構學習時展現出強大的性能與魯棒性，是針對實際大規模問題的理想選擇。

兩者皆處理部分缺失資料的任意子集合，極大地增加了方法的靈活性，能夠應用於資料缺失非均勻且不規則的真實設定。作者也詳細理論分析並驗證了兩種方法在有限樣本與多種資料結構下的誤差界限，提供理論和實務雙重基礎。

主要實驗結果

作者在多組實驗中驗證了方法的有效性，包括模擬資料與真實資料：

• 在低維且資料缺失簡單的模擬實驗中，IW 方法表現出色，能在小樣本情境下穩健捕捉底層分布的主要結構，證明其適用於資料維度較低且缺失較隨機的任務。
• 針對高維圖模型結構估計問題（如社群偵測與基因資料分析），則變分方法表現優異，不只在準確度上勝過傳統缺失資料處理基線，也提升模型對高維複雜缺失結構的適應能力。
• 此外，實驗涵蓋了非均勻缺失機制的場景，皆展現兩種方法在不同情境下的兼容性與強健性。

這些實驗結果不單確認了理論分析的預測，更向業界展示缺失資料 score matching 方法的實用價值，尤其當標準最大似然無法有效處理時，提供可靠的替代方案。

對 AI 領域的深遠影響

本文提出的缺失資料 score matching 方法在理論及應用層面均開創新局：

• 理論層面：本研究填補了缺失資料分析與無正規化模型估計兩大領域間的空白，進一步推動 score matching 理論從完整資料向缺失資料場景的關鍵跨步。其提出的有限樣本界限與變分推斷策略，為後續研究提供豐富啟發。
• 方法層面：靈活可調的 IW 與變分框架，為處理多樣缺失機制提供新範式，且易於整合至現有的能量基模型、擴散模型及圖結構學習演算法中，擴大 score matching 在真實應用的範圍與效率。
• 應用層面：在現代 AI 領域中，數據完整性不再是理想假設，缺失資料問題普遍存在於醫療、生物信息、社會網絡分析等場景。本論文方法的推出，將強化這些領域模型的實用性和準確性，充份發揮資料的潛在價值。

總結而言，《Score Matching with Missing Data》不僅是對理論機器學習的一大貢獻，更具備真實世界挑戰的高度實用意義。隨著缺失資料問題日益嚴峻，本文方法有望成為未來分布學習及生成模型設計中不可或缺的技術利器，有效推動 AI 在高維不完整資料分析中的理論創新及應用深度。

---

論文資訊
📄 Score Matching with Missing Data
👥 Givens, Liu, Reeve
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2506.00557

Conformal Prediction as Bayesian Quadrature

隨著機器學習系統逐漸被應用於諸如醫療診斷、金融風控及自動駕駛等高風險領域，如何準確評估模型在實際部署中的預測不確定性，成為 AI 研究與工程中一項關鍵挑戰。傳統的黑盒模型雖然在性能上取得驚人成果，但預測結果的可靠性往往難以保證，尤其在資料分布可能偏移或未知時更是如此。為此，分佈無關（distribution-free）的不確定度量方法如保準預測（conformal prediction）被廣泛研究，因其能在無須假設特定資料分佈的情況下，對模型預測的損失提供嚴格保證，成為實務上極具吸引力的工具。

然而，傳統保準預測方法根植於頻率主義（frequentist）概率理論，透過有限樣本的數據重複抽樣性質推導保證，但其所給出的區間通常較為保守，且對於損失的概率分布描述較為粗糙，缺少對損失變動性的豐富認識。此外，頻率主義的不確定性量化難以納入先驗知識，也不易與貝葉斯方法整合，限制了其在模型評估上的彈性與資訊深度。

本論文由 Snell 與 Griffiths 於 ICML 2025 提出，榮獲 Outstanding Paper 獎項，突破性地從貝葉斯視角重新詮釋與擴展保準預測框架，將其視為一種「貝葉斯積分法」（Bayesian Quadrature）問題。這一創新視角不僅揭示了傳統頻率主義保準預測的局限性，也為不確定度評估提供了一條全新且更具解釋力的道路。

研究背景與動機

保準預測因其不依賴資料分布假設，且能提供可控誤差上界的特性，成為黑盒模型不確定性估計的熱門方法。然而，在實務中，頻率保證多半是漸近且針對整體失誤率的平均行為，無法反映單一次測試輸出對應的不確定度內涵。此外，這些方法難以有效融合領域知識，或是對損失函數的先驗分布建模，導致其應用在更複雜及高度非對稱誤差風險場景時效果受限。

另一方面，貝葉斯方法擅長透過先驗知識與觀測資料進行後驗推斷，對不確定度提供更為豐富且具體的表示。但要如何將貝葉斯框架自然地應用於不確定度量與風險控制，尤其在保準預測所追求的分佈無關性條件下，仍是一大難題。

核心方法與創新

作者提出將保準預測的核心「校準」過程視為對損失分布進行貝葉斯積分的任務。具體而言，傳統保準預測中會利用歷史校準數據構造一個預測區間，確保新數據點存在於該區間的機率達到指定置信度。論文觀察到，此過程等價於對損失函數的分布進行積分評估，而此積分問題可以透過 Bayesian Quadrature 技術來求解。

Bayesian Quadrature 是一種基於高斯過程（Gaussian Process, GP）回歸的數值積分方法，能在少量評估點的情況下推估積分結果的後驗分布，不僅能給出積分估計值，也自然提供積分不確定度的量化。作者設計了一種新的貝葉斯保準預測算法，透過高斯過程對損失函數在測試階段的表現進行建模，利用先驗與歷史校準數據推斷損失的後驗分佈，並利用 Bayesian Quadrature 計算損失的置信區間。

此方法相較於傳統頻率保準預測，具備以下創新優勢：

• 能提供對損失分布的不確定度全貌，不僅是置信區間的邊界，而是整體損失分布的後驗信念。
• 可靈活引入先驗知識，調節對損失函數行為的假設，進而提升校準效率與準確性。
• 生成的風險保證更具有解釋力，有助於風險管理者理解模型在不同情境下可能承擔的損失範圍。
• 跨越頻率主義與貝葉斯哲學的鴻溝，為分佈無關的不確定度量方法開啟新的理論與實踐途徑。

主要實驗結果

作者在多個包含回歸與分類任務的標準基準數據集上，進行了廣泛實驗，對比了傳統頻率保準預測與其貝葉斯保準預測方法。實驗結果顯示：

• 貝葉斯保準預測在校準效率上顯著優於標準保準預測，意味著其在相同數量的校準數據下，能提供更精確的置信區間。
• 在模型輸出損失可能高度不對稱或多模態的複雜場景中，貝葉斯方法能更好地捕捉損失分布的細節，提供更具信息量的不確定度描述。
• 其損失後驗分布估計能夠為決策制定者提供額外的風險評估信息，有助於定制更穩健的安全閾值。
• 在模擬資料分布偏移的設定中，貝葉斯方法展現較佳的泛化校準能力，提升部署時的風險控制信心。

對 AI 領域的深遠影響

本論文從理論與實踐雙重角度，成功將保準預測與貝葉斯數值積分相結合，打開了不確定度量方法的新視野。這種跨哲學體系、跨方法論的融合，為 AI 領域中風險可控的模型部署提供了更為強大且靈活的技術基礎。

首先，此研究促進了保準預測方法的理論深化與擴展，挑戰了過去僅依賴頻率視角的範式，讓學術界與工業界能以更精細的概率語言理解和控制風險，進一步提升了這類方法在醫療、金融等高風險應用上的可信度。

其次，貝葉斯保準預測所帶來的先驗知識注入與後驗不確定度完整刻畫，不僅使風險評估更具解釋性，也為自適應校準、動態風險管理等後續擴展應用提供理論支持與實踐路徑。

最後，此論文展現了 Bayesian Quadrature 技術在機器學習不確定度量上的強大潛力，激勵更多研究聚焦於如何借助貝葉斯視角，提升對模型不確定度的深度理解與有效控制，推動 AI 系統向更安全可靠方向發展。

總結而言，Snell 與 Griffiths 的《Conformal Prediction as Bayesian Quadrature》不僅是一篇理論創新與實驗驗證俱佳的傑出論文，更為 AI 不確定度量領域帶來了跨越性突破，具備開啟未來多元研究與實踐革命的潛力。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228

Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理（NLP）與生成式AI領域的蓬勃發展，次一詞（next-token）預測策略成為主流訓練和生成的方法。然而，雖然這類方法在多數語言理解與生成任務中表現優異，其固有的「近視性」也逐漸被揭示——即模型通常依賴局部上下文作出下個字元的最佳預測，卻難以長期規劃、更具前瞻性的創造思維受到限制。Nagarajan等人於ICML 2025發表的論文《Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction》即是針對此一瓶頸，從理論與實驗雙面向提出深入探討與突破性見解，並榮獲Outstanding Paper獎項肯定。

研究背景與動機

當前主流的生成式模型，如GPT系列，訓練目標多為最大化下個字元機率分布，即「next-token prediction」。這種方法在符合短期上下文模式及語言統計規律上十分有效，但當面臨真正需要長遠思考與高度創造力的複雜任務時，便顯得不敷使用。作者指出，現實世界中許多開放式任務，無論是字詞遊戲、類比思考，甚至類蛋白設計或數學題目構建，其本質涵蓋一個隱藏的、多步驟、不確定且具有探索性的規劃問題，這是next-token預測難以直接模擬的。

因此，作者希望搭建一套「最小但具代表性」的演算法任務，以模擬此類開放式的創造需求，藉由對比不同方法，量化並解析next-token預測在創新能力上的侷限，並探索能突破此限制的替代訓練與生成策略。

核心方法與創新

本論文核心構想在於設計一系列簡化且可控的抽象任務，這些任務可視為抽象知識圖譜上的隱式探索問題：

• （一）發現新連結：透過在抽象符號結點間尋找尚未顯性記錄的連結，對應現實中的詞彙遊戲、類比推理、科研發現等。
• （二）創造新模式：組合現有元素生成全新結構，例如數學題目設計、蛋白質結構預測等創新任務。

在這些任務上，傳統的以next-token為訓練目標的語言模型，由於著眼於短期、貪婪式的概率最大化，表現出明顯的探索不足與多樣性匱乏。作者對此提出了兩種主要突破方法：

1. 無教師（teacherless）訓練方法： 藉由不借助預先標註的輸出目標，而是透過生成與評估結合的做法，模擬探索性策略，鼓勵模型進行長期規劃與嘗試多樣選擇。
2. 擴散模型（Diffusion Models）應用： 與next-token生成不同，擴散模型通過逐步逆擾動過程（reverse diffusion）生成樣本，具備更強的隨機性與多樣性，促使結果跨越局部最優。

此外，本論文也在生成多樣性與文義連貫性之間找到巧妙平衡：

• 傳統採用的溫度採樣（temperature sampling）會在生成階段調節概率分布的平滑度，增加隨機性，但可能破壞文法或語義連貫性。
• 作者則提出「種子條件化（seed-conditioning）」的噪聲注入方法，直接於輸入層施加微小隨機擾動，能有效激發多樣性卻不犧牲輸出質量，實驗中更展現部分條件甚至勝過溫度採樣。

主要實驗結果

透過嚴謹實驗設計，論文展示如何在所設計的抽象任務下比較多種生成策略：

• Next-token 預測模型： 雖然生成質量穩定，但在創造新知識連結及構造新模式的多樣性與創新性方面表現有限，容易陷入局部解。
• 無教師訓練方法： 顯著提升生成輸出的探索性與多樣性，能更好捕捉複雜任務中所需的長期規劃能力。
• 擴散模型： 能在控制文義合理性的前提下，產生更多原創且多變的內容，尤其在需跨越多步抽象狀態空間任務中更具優勢。

關於隨機性的控制方面，種子條件化帶來的噪聲注入，既保持生成連貫，又讓模型探索更多潛在解空間，成為一項輕量且有效的實作技巧。

作者亦公開了部分代碼與測試套件，促進後續社群對此問題進一步的研究與擴展。

對 AI 領域的深遠影響

本論文提出了一個系統性且概念清晰的框架，以「最小化抽象任務」的方式檢視目前語言模型在創意生成上的底層限制，為AI生成技術走向真正「創造力」水平提供參考依據。其影響力可從以下幾點說明：

1. 理論層面： 清楚揭示next-token預測的內在侷限，促使AI研究從機率化語言建模進入更高層次的計劃與探索範式。
2. 方法論層面： 融合無教師訓練與擴散模型，展示從單步預測到多步長程決策的演進路徑，並提出種子條件化這樣簡便易行的生成調節新手段。
3. 應用層面： 為語言生成、科學發現、創新設計、藥物設計等多領域注入具有探索性和多樣性的生成策略，突破傳統生成模型的僵化與模式化。
4. 社群推動： 透明公開代碼與測試平台，鼓勵業界與學術界對語言模型創造力限制的共同討論與跨領域合作。

總結而言，此篇作品不僅是對現有語言生成技術的深刻反思，更為日後打造具備「眼見未來」的AI系統奠定重要理論與方法基礎。AI 工程師與研究生若想深入理解生成模型如何從單純模仿，邁向真正的創造性思考，該論文提供了不可多得的洞察與實務指引。

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266

Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions

隨著生成模型在自然語言處理、圖像合成以及結構化數據等領域的快速發展，如何高效且靈活地建構具備強大生成能力的模型，一直是研究熱點。在離散域（例如文本生成）中，自回歸模型（Autoregressive Models, ARMs）長久以來被視為主流，憑藉其簡明的左至右生成順序，能有效捕捉序列依賴關係。然而，ARMs 在推理階段必須嚴格按照既定的序列進行逐步解碼，限制了生成的靈活性與效率。近年來，掩碼擴散模型（Masked Diffusion Models, MDMs）因能在推理時以幾乎任意的順序解碼，而成為面對離散域生成的新興方案，帶來了訓練複雜度與推理靈活性之間的新挑戰。

研究背景與動機

傳統 ARMs 透過 teacher forcing 於訓練階段學習固定且嚴格的解碼順序，這使得模型生成過程清晰且易於優化，然而這種順序限制同時也使推理效率較低，且難以利用平行或非順序的解碼策略。與之相對，MDMs 在訓練階段不僅要學習填補「掩碼位置」的多種可能狀況，這種多樣子問題的總數呈指數級增長，因而訓練極具挑戰；但它們的優勢是推理時不必拘泥於固定解碼順序，理論上可以根據具體問題靈活調整令生成更有效率。

本論文由 Kim 等人提出，目的在於深入理解 MDMs 訓練時碰到的「最壞情況學習」問題，與推理時「最佳順序選擇」的潛力。他們試圖透過理論分析與實驗驗證，揭露 MDMs 在離散生成任務中訓練與推理策略間的權衡，並提出一套能在推理階段智能選擇解碼順序的方法，大幅提升模型效能並降低推理難度。

核心方法與創新

首先，論文在理論層面證明 MDM 面臨的核心困難是：訓練階段必須同時解決一組「指數級」的補全子問題，而其中多數子問題是計算不可行的，與 ARMs 僅需解決固定序列子問題明顯不同。也就是說，MDMs「被迫訓練於最壞情況」（Train for the Worst），使得訓練成本與挑戰大幅增加。

另一方面，在推理階段，MDMs 能夠不受限於預先設定的固定順序，其解碼令牌的順序可以動態調整。作者提出一種基於模型自身信心水準的「適應性解碼策略」，該策略根據當前已生成資訊動態決定下一個要解碼的令牌位置，藉此「規避較難的子問題」，將推理任務拆成多個相對容易的子問題逐一解決（Plan for the Best）。此策略的關鍵點在於充分利用模型內在不確定性評估，實時調整解碼順序，提升生成的準確性與效率。

此外，研究者進一步針對經典邏輯推理問題 Sudoku 進行實驗。與傳統 ARMs 需要繁複設計解碼順序不同，MDMs 在採用他們提出的適應性推理策略後，展現了顯著突破。

主要實驗結果

論文先在 Sudoku 題庫上對比實驗發現：

• 採用固定順序推理的預訓練 MDMs，其準確率極低，甚至低於 7%。此結果印證此類模型若不利用順序靈活性，將因為難解子問題而表現不佳。
• 引入作者提出的適應性解碼策略後，MDMs 的解答準確率躍升至約 90%，大幅超越固定順序的限制。
• 相較於 ARMs，即使後者的參數量大約是 MDMs 的七倍，且透過 teacher forcing 專門學習最適合的解碼順序，MDMs 依然在準確率上取得更優表現。

額外分析也彰顯該適應性推理策略減少了推理過程中「最難令牌優先解碼」的概率，顯著降低了模型陷入最壞子問題的機會，提升了推理效率和效能。此外，作者也驗證了該策略在其他離散生成任務中的泛用性，展示出良好的擴展潛力。

對 AI 領域的深遠影響

此篇論文的貢獻，不僅是在理論與實驗上確立了 MDMs 在離散生成領域中的新地位，更提出了切實可行的解決方案來突破訓練和推理的困境。對於 AI 研究社群而言，他們擺脫了傳統 ARMs 固有的編碼順序限制，為未來設計更加靈活且高效的生成模型提供了嶄新的思路。

具體而言，適應性解碼策略引入了動態規劃與不確定性估計的概念，這對設計可針對複雜、結構化離散問題（如邏輯推理、程式碼生成、結構化文本等）有深遠影響。此方法可望激發後續研究聚焦於推理階段的動態策略優化，推動生成模型往更高效且泛化更強方向發展。

此外，該文揭露了 MDMs 在「訓練面臨指數級挑戰」的本質，強調了強化訓練策略與模型架構設計的重要性。未來研究可能會從減少訓練複雜度或引入更聰明的訓練樣本挑選機制著手，進一步降低資源需求，提升可用性。

總體而言，As Kim 等人這篇在 ICML 2025 被評為 Outstanding Paper 的研究，不僅深化了我們對離散擴散模型本質的理解，也為 AI 生成技術的靈活推理策略帶來革命性的啟示，預期將在離散生成模型及跨領域應用中持續發酵並激發新一波技術革新。

---

論文資訊
📄 Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions
👥 Kim, Shah, Kontonis, Kakade, Chen
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.06768

CollabLLM: From Passive Responders to Active Collaborators

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域的快速發展，這些模型已成為多種應用的核心技術，從文本生成、對話系統到輔助決策。然而，現有的 LLM 多半是以「下一回合」的反饋機制（next-turn reward）作為訓練基礎，這種設計使得模型主要聚焦於當下回應的合適性，卻忽略了互動對話的長期目標和使用者的更深層意圖。這導致一個普遍瓶頸：LLM 通常被動回應且缺乏主動進取的能力，尤其在面對開放式或模糊請求時，無法有效協助用戶完成複雜任務，造成對話效率低落。

針對上述問題，Wu 等人在 2025 年 ICML 論文《CollabLLM: From Passive Responders to Active Collaborators》中，提出了名為 CollabLLM 的新穎訓練框架，旨在突破傳統被動回應的侷限，邁向能主動協助用戶、深入洞察意圖的「協作式大型語言模型」。此論文榮獲 ICML 2025 的 Outstanding Paper 獎，體現其在多回合人機交互領域的突破性意義。

研究背景與動機

過去的 LLM 訓練常介於監督式學習和強化學習之間，並以「立即」反饋（如下一輪回答的品質）為指標，忽略對話過程中跨回合的長期影響。使用者在與 LLM 交互時，特別是在資訊搜尋、文件創作等多步驟任務中，往往期望機器不僅「應答」，更應該成為「協作者」，主動幫助整理思路、引導討論，甚至主動提出關鍵建議。現有模型缺少此類能力，導致用戶需花更多時間進行反覆溝通，降低人機協作的效率。

此問題彰顯出改變回應機制、以多回合整體表現為優化目標的迫切需求。CollabLLM 正是在這樣的背景下誕生，核心目標是設計一套可以讓 LLM 從被動回應者轉變為主動協作者的訓練策略。

核心方法與創新

CollabLLM 的最大創新點是引入「多回合感知獎勵系統」（Multiturn-aware Rewards）及「協作式模擬訓練」（Collaborative Simulation）。此方法的關鍵在於，模型在訓練過程中不再只收到單一回合的回饋，而是透過模擬多回合交互，評估整體對話對完成使用者最終目標的貢獻。

• 多回合感知獎勵： 傳統獎勵只考慮下一輪回應的即時品質，CollabLLM 則設計了能量化「整個對話序列」中每個回應對最終任務完成度的貢獻獎勵，強化模型在多輪互動中的長期規劃能力。
• 協作式模擬訓練： 利用多輪模擬對話讓模型與模擬用戶進行交互，透過模擬自我協作過程探索更深層次的用戶意圖。模型不僅回應，更主動提出問題和建議，進行訊息引導與澄清，這超越了僅依賴客觀指令反應的傳統方式。
• 強化微調（Reinforcement Fine-Tuning）： 利用上述多回合獎勵機制來強化微調模型，使模型學會在多輪對話中最大化整體互動價值，塑造更加人本且合作導向的對話策略。

此外，作者自行設計了「多回合人機互動基準測試」（multiturn interaction benchmark），涵蓋三大挑戰性任務，如文件創作，測試模型在真實複雜任务中的長期協作能力。

主要實驗結果

在多項嚴謹實驗中，CollabLLM 展現了驚人的表現提升：

• 任務表現提升： 相較於基線模型，CollabLLM 在多回合任務整體完成度上平均提升了 18.5%，顯示其在理解與推進任務方面更為高效。
• 互動性大幅增強： 由大型語言模型評審評分中，其互動質量提升達 46.3%，反映 CollabLLM 不僅回應更合理，更主動帶出關鍵資訊和建議，促進更流暢的協作。
• 用戶研究驗證： 在涵蓋201位評審的用戶研究中，CollabLLM 提升了用戶滿意度 17.6%，同時用戶完成任務時間平均縮短了 10.4%，驗證模型的實用價值與用戶體驗的明顯改善。

這些數據充分說明，CollabLLM 在多回合協作的情境下，能有效理解並主動促進用戶訴求的實現，顯著优化了人機交互的質量與效率。

對 AI 領域的深遠影響

CollabLLM 的貢獻不僅限於提升 LLM 對話性能，更從根本上重新定義了人機交互模式，從「被動回應機」轉型為「積極協作夥伴」。該研究帶來以下深遠影響：

• 長期規劃取向的對話系統訓練典範： 傳統強調即時反饋的優化，無法應對多回合、跨步驟任務的複雜需求。CollabLLM 展示如何利用多回合獎勵與協作模擬，促進模型學習長遠目標，有利於未來開發更智慧且上下文敏感的對話代理。
• 推動協作式 AI 發展： 目前人工智慧的發展趨勢在於與人類並肩工作。CollabLLM 的框架提供了可行技術路徑，讓 AI 不再是「工具」，而是真正能與人類進行知識共享、主動輔助決策的協作者。
• 建立多回合協作衡量標準： 此論文針對複雜多回合任務構建了挑戰性評測，為未來該領域提供了公認的測試基礎，激勵更多研究聚焦於提升跨回合的持續互動品質。
• 應用面展望廣泛： CollabLLM 不只適用於文書創作，未來可延伸至教育輔導、醫療諮詢、專業決策支持等多種場景，讓 AI 在多步任務中與人類形成更緊密且高效的合作關係。

總結來說，CollabLLM 的誕生是大型語言模型演進史上一個重要里程碑。透過將多回合整體目標納入優化範疇與引入協作式模擬訓練，該研究首創性地推動模型從被動反應轉變為主動洞察及引導，用人機合作的視角刷新了未來對話智能的設計準則。這不僅促進了學術界對多步交互強化學習的理解，也為實務上建構更人性化、效率化的智能代理奠定了堅實基礎。

---

論文資訊
📄 CollabLLM: From Passive Responders to Active Collaborators
👥 Wu, Galley, Peng, Cheng, Li, Dou, Cai, Zou, Leskovec, Gao
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.00640