Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) 深度解說

隨著大型語言模型（Language Models, LMs）在自然語言生成領域日益普及，其在創造力與多樣性上的能力，特別是在開放性問題（open-ended prompts）上的表現，成為近年研究焦點。NeurIPS 2025 年最佳論文《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》由江偉、柴志堅等多位研究者發表，深入探討 LMs 在面對開放性、多樣化的用戶查詢時可能表現出的「人工集體思維效應（Artificial Hivemind）」。本文將從研究背景、核心方法、實驗結果及其對 AI 領域的深遠貢獻等層面，為讀者做詳盡解說。

研究背景與動機

現有大型語言模型雖已在多項任務展現不俗表現，但在生成富有多樣性、富創意的內容時仍存在侷限。這種侷限不僅會限制模型的應用範圍，更引發一項社會文化的潛在風險——透過大量且反覆地曝光於相似的主流機器生成內容，可能造成「人類思維同質化」，影響思想多元性與創新。學術界稱這種現象為「模式崩潰（mode collapse）」，即模型在開放性生成任務中反覆生產相似甚至雷同答案。

然而，過去衡量語言模型生成多樣性的研究多集中於極窄的任務範疇（例如隨機數生成或名字產生），且多為單一模型反覆生成的評估，缺乏針對多模型、多元人類需求下的系統性研究。此外，公開的大量多樣化開放性對話資料集亦相當稀缺，這限制了理解和改進模型多樣性表現的可能。

因此，本論文初衷為創建一個大規模且貼近真實多元用戶需求的對話資料集，並系統性地探討不同語言模型間以及單一模型內部在開放性生成任務上的同質化現象，期望藉此揭示並量化“人工集體思維（Artificial Hivemind）”效應，為未來提升生成多樣性，以及減緩AI帶來長期社會風險奠定基礎。

核心方法與創新

本研究的關鍵貢獻在於提出並實現了多項重要創新：

1. Infinity-Chat 資料集建置

作者設計並公開了一個名為 Infinity-Chat 的大型開放性對話資料庫，收錄超過 26000 筆真實世界的用戶多樣化查詢，這些查詢均沒有單一「標準答案」，支持多種合情合理的回應。Infinity-Chat 不僅具備範圍廣泛的主題，還細分為 6 大類及 17 個子類別，例如「頭腦風暴與創意發想」等，涵蓋了日常生活、專業諮詢、藝術創作等多方面內容，用以全面捕捉用戶在開放式對話中的多元需求與期待。

2. 多面向同質性研究框架

論文定義並量化兩大層面的同質化現象：

• 模型內部重複（Intra-model repetition）：同一語言模型針對相近或相同提示多次生成回應時，答案間的相似度偏高，顯示生成內容缺乏內在變異。
• 模型間同質性（Inter-model homogeneity）：不同訓練架構與參數設計的模型，面對相同開放性提示時，仍大幅產生相似的回答路徑，形同形成一種「人工集體思想」的狀態。

這種比對不同模型之間同質化的手法，是目前文獻中首次大規模且細緻地揭露語言模型群體在開放式生成時的齊頭式表現。

3. 大規模人類評價集成與分析

為了衡量答案的質與多樣性，以及對模型行為的細緻理解，Infinity-Chat 還包含超過 31250 筆人類標註資料，每則回應平均有 25 人獨立評價。這些標註涵蓋絕對評分與成對偏好，讓研究得以深入分析：

• 用戶在面對開放答案時的個人差異偏好；
• 模型輸出與人類主觀評價之間的校準度；
• 獎勵模型（Reward Models）與評審系統在多樣化答案判斷上的不足，特別是在捕捉個人化需求與多樣評價上存在誤差。

這些精密的人類評價數據支持了對模型生成行為的多面向剖析，彌補過往人工評鑑樣本小、單一維度的缺陷。

主要實驗結果

基於 Infinity-Chat，作者針對數款主流及研究前沿的語言模型進行大規模實驗，結果呈現出以下關鍵發現：

(1) 強烈的模型內及模型間同質化現象

不論是大模型或中型模型，開放式生成階段均存在顯著模式崩潰，模型內部答案重複率高，而不同架構與訓練策略的模型間生成結果，意外地高度相似。這種現象不僅限於特定類型任務，而是普遍且跨領域發生，反映出語言模型彼此間受限於類似的訓練數據與目標函數，形成一種集體「思維同質化」，因此命名為「Artificial Hivemind」。

(2) 人工標註揭示多元偏好與評價校準不足

雖然模型生成的多數回應在整體質量評估上尚算穩定，但不同人類標註者對於開放式回答的偏好差異明顯，凸顯多元性需求。相比之下，當代的語言模型評分器及獎勵模型並未能有效捕捉這種多樣化的偏好差異，導致模型評價指標與用戶真實偏好的脫節。

(3) 同質化現象與用戶需求多樣性之間的矛盾

實驗進一步證實，Models雖然在整體上呈現同質化趨勢，但用戶的需求則極其多樣且個性化，這代表目前模型缺乏足夠的調節或生成策略以反映及滿足開放性語境下的多元期望。

對 AI 領域的深遠影響

《Artificial Hivemind》一文從多個層面開啟了語言模型開放性生成的新視野，對未來 AI 研究與應用提出警示與建議：

1. 提升生成多樣性與減緩模式崩潰為重大挑戰

本研究揭示 LMs 不僅內部生成多樣性不足，甚至不同模型間也高度同質，這限制了語言模型在創新應用（如創意寫作、輔助決策、多元意見呈現等）上的價值。未來模型設計需朝減少模式崩潰、強化差異性方向發展，包括改進訓練目標、多樣化訓練數據，以及開發更有效的多目標、分層生成策略。

2. 強化評價系統的多樣性與客製化能力

由於現有獎勵模型與評分機制未能準確反映人類多樣化偏好，未來 AI 評估方法應更多整合多元人類標註者的個別偏好，或引入用戶自適應機制，使模型能調整生成風格和內容，滿足不同使用者需求，從而提升使用者體驗與信任度。

3. 對 AI 安全與社會風險的警醒

「人工集體思維」的形成暗示若大眾長期接觸高同質性的 AI 生成內容，可能影響思想多樣性與創新，帶來文化與社會層面的長期風險。此篇論文促使研究者應更加重視 AI 生成文本的多元價值與人文社會影響，將 AI 安全議題拓展至「思維同質化」與資訊多樣性保護層面。

4. 建立開放性語言生成研究的基石資源

Infinity-Chat 以其大規模、高質量、多類別且人類標註豐富的資料集，成為未來開放式語言生成研究的重要基石，將驅動更多後續探索如何優化模型多樣性、構建更具包容性及個性化的互動系統。

總結

江偉等人在《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》這篇 NeurIPS 2025 的最佳論文中，系統性揭露並量化了目前語言模型在面對自然、開放式人類提問時，所表現出的顯著「人工集體思維」同質化現象。藉由 Infinity-Chat 數據集與大規模人類評價，他們不僅提供了多面向衡量與分析模型生成多樣性的工具，也提醒社會與研究界高度重視 AI 生成多樣性不足可能帶來的長期社會與文化影響。這些洞察對未來提升語言模型創造力、增加生成內容多元性，以及構建符合人類多元需求的 AI 系統，具有不可或缺的重要指引意義。

---

論文資訊
📄 Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
👥 Jiang, Chai, Li, Liu, Fok, Dziri, Tsvetkov, Sap, Choi
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2510.22954

The Value of Prediction in Identifying the Worst-Off

研究背景與動機

在公共政策與社會福利領域，如何有效識別並幫助「最弱勢群體」一直是政府與非營利組織的核心目標。隨著機器學習技術的發展，越來越多政府單位開始將預測模型應用於社會救助、健康照護、失業補助等政策執行中，期望透過精準預測來鑑別那些最需要幫助的個體，在有限資源下達到最大社會效益。然而，這樣的系統往往與傳統的以最大化整體成果（Aggregate Outcomes）為目標的設計不同，更多著眼於「公平性」（equity），即聚焦於「最弱勢」（worst-off）族群的福祉改善。

本篇由 Fischer Abaigar 等人所著、於 ICML 2025 榮獲 Outstanding Paper 的論文《The Value of Prediction in Identifying the Worst-Off》，正是在此背景下提出，深入探討預測機器學習模型在識別最弱勢個體時的價值與效果。作者指出，過去文獻多偏重模型精準度或整體報酬最優化，然而政策設計實務中，「誰被服務」比「整體回報多大」更加關鍵，因此論文著眼於分析預測在提升「弱勢識別」能力上的角色與效用，並與其他政策工具（如擴充官僚體系容量）做比較，期待透過嚴謹的數學框架與實證案例，提供政策制定者可行且具有原則的決策基礎。

核心方法與創新

論文的核心在於建立一套數學模型，來度量和比較不同政策杠桿對於最弱勢民眾福利的提升效果。作者將社會福利分解為受助者的福祉水準，並考慮選擇性誤差（selection bias）和資源有限的現實條件，進而精確定義「最弱勢」群體。接著，透過理論分析，比較了：

• 基於機器學習模型的預測工具：用以鑑別出處於最大風險或需求的對象。
• 傳統政策工具，如擴充社會服務體系的官僚能力（例如增派社工人力、擴張服務網絡）。

一項關鍵創新是論文提出結合預測精度與政策行動成本的「效用最大化框架」，使得政 策制定者能在不同策略間做出平衡判斷。作者進一步從「公平性」角度出發，考量群體內部的異質性，避免只用總體指標掩蓋弱勢族群福祉的改善與惡化。

在實證部分，論文針對德國長期失業者進行案例研究，利用德國政府的社會救助數據結合預測模型，檢驗預測方法在實際政策運作中的識別效果及其對失業者福祉的影響。這個實證分析不僅驗證理論模型的預測能力，也展示如何在真實世界中將理論轉化為政策工具，推動公平的社會干預。

主要實驗結果

實驗結果清楚指出，相較於單純擴充官僚體系容量，透過精準預測辨識最弱勢個體，能在配給有限資源時達成更高的社會福利改善，且該提升在數據充足和模型性能優良的情況下更為明顯。作者發現，好的預測模型不僅提升了弱勢族群的識別率，也進一步促使資源配置更為有效，避免因資源誤置造成的浪費。

同時，論文也揭示當預測模型存在偏誤（例如受限於資料不完備或偏頗）時，模型的價值會受到影響，甚至可能加劇不公平。因此，設計與部署預測系統時，必須謹慎處理資料品質與算法透明性，並結合其他政策工具（如擴充現場人力）以彌補模型不足。

在德國長期失業案例中，作者展示了使用機器學習預測模型能夠顯著提高政府對長期失業者的識別精準度，並透過模擬分析，評估了不同資源配分策略對提升失業者重返就業率及其福祉的貢獻。此外，結合數據驅動的工具，該研究亦提出決策輔助的流程，支持政策制定者根據實際情況調整策略，追求公平與效率的雙贏。

對 AI 領域的深遠影響

這篇論文在 AI 與公共政策交叉領域中，提供了一個極具啟發性的理論與實務橋樑。首先，它重新定位了機器學習在社會福利政策中的角色——不僅限於技術層面的預測，而是將預測視為協助「弱勢鑑別」的一種手段，在公平性面向上展示其真正價值。此一視角促使 AI 研究者思考如何從技術設計到政策落實都納入倫理、公平與社會影響的考量，而非僅追求模型精度或整體收益最大化。

其次，論文的方法論強調跨領域整合，結合經濟學、社會科學與機器學習的概念，推進了 AI 在現實世界大規模應用的可解釋性與透明度，這對於推動具備社會責任感的 AI 系統至關重要。其提出的效用最大化框架與公平性評估工具，成為後續相關研究設計公平與包容性算法的重要參考。

最後，此研究也帶來政策制定的實務啟示。傳統上政策制定者面對「有限資源與無限需求」的困境，往往難以衡量擴充官僚體系或調用新技術的成本效益；本文透過結合理論分析與實證證據，為預測技術在公共服務中的投入提供了堅實的數據支持，促使政策與 AI 技術的結合更具科學基礎與實際操作性。

總結來說，《The Value of Prediction in Identifying the Worst-Off》不僅在學術層面提供了公平導向預測系統的理論框架，更在實務上展示了機器學習技術在促進社會公正與提升弱勢族群福祉中的巨大潛力。這對於未來 AI 在社會政策中更加負責任且公平的應用發展，具備相當的指導意義與啟示價值。

---

論文資訊
📄 The Value of Prediction in Identifying the Worst-Off
👥 Fischer Abaigar, Kern, Perdomo
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2501.19334

Score Matching with Missing Data

在機器學習領域中，分布估計一直是核心且具挑戰性的任務。透過學習資料底層的機率分布模型，不僅能促進生成模型、異常偵測、圖模型學習等多種應用，更是理解資料結構的基石。其中，「score matching」作為一種無需計算正規化常數（normalizing constant）的分布學習方法，因其強大的理論基礎與實用性，成為近年研究的重要工具。然而，現實世界資料往往存在缺失（missing data）問題，無論是感測器故障、隱私限制或資料記錄不全，經常導致觀測資料不完整，這大幅增加建模的難度。儘管 score matching 在完整資料下發展成熟，過去對於如何在缺失資料情境下有效運用 score matching 支持分布估計的討論與方法卻甚少。

針對此一重要且未被充分探討的議題，ICML 2025 獲獎論文《Score Matching with Missing Data》由 Givens、Liu 與 Reeve 共同提出具有突破性的解決方案。本文不僅首次系統性地將 score matching 延伸至能處理部分缺失資料的框架，且提出兩種不同的擴展變體——基於重要性加權（Importance Weighting, IW）的方法，以及變分推斷（Variational）的方法，分別針對不同資料型態下缺失的挑戰做出最佳化。

研究背景與動機

正規分布模型通常依賴最大似然估計，但此方法在面對模型內積難以計算或缺失資料時，會面臨嚴重困難。score matching 由 Hyvärinen 于 2005 年提出，透過轉化原本的似然函數為求解分布梯度（即 score）的目標函數，免除了計算難以取得的正規化常數。而且，score matching 對能量基模型（Energy-Based Models, EBM）、擴散模型（Diffusion Models）以及圖模型（Graphical Models）等領域效果卓越，成為不可替代的分布估計技術之一。

儘管如此，真實場域中資料缺失是司空見慣的問題，這使得傳統 score matching 方法設計時假設完整資料的前提不再成立，直接應用將導致偏誤甚或不收斂。因此，如何將 score matching 安全且有效地延伸到缺失資料上，是推動其實際應用及理論進一步提升的關鍵。

核心方法與創新

本文的核心貢獻在於，提出兩套具理論保證及實務彈性的「缺失資料版本」score matching 方法：

1. 重要性加權（Importance Weighting, IW）方法：此方法透過建立一個加權機制，針對缺失資料的多樣缺口，計算觀測資料對完整資料分布的貢獻。核心在於導出一個可計算且無偏的加權得分函數，利用有限樣本下理論界限證明其收斂性與穩健性。IW 方法特別適合缺失機率隨機且維度較低的情況，並在小樣本體系中表現優秀。此方法不需對缺失機制進行假設，是一種較為非參數且通用的處理策略。
2. 變分推斷（Variational）方法：針對高維且缺失資料模式複雜的情境，作者提出使用變分推斷策略，將缺失的隱藏變量參數化為可優化的分布。透過變分下界，結合 score matching 的目標函數重新構造一組易於訓練的可微分優化目標，不僅提升可擴展性，也更能捕捉高維結構與缺失規律。這種方法在大型圖模型結構學習時展現出強大的性能與魯棒性，是針對實際大規模問題的理想選擇。

兩者皆處理部分缺失資料的任意子集合，極大地增加了方法的靈活性，能夠應用於資料缺失非均勻且不規則的真實設定。作者也詳細理論分析並驗證了兩種方法在有限樣本與多種資料結構下的誤差界限，提供理論和實務雙重基礎。

主要實驗結果

作者在多組實驗中驗證了方法的有效性，包括模擬資料與真實資料：

• 在低維且資料缺失簡單的模擬實驗中，IW 方法表現出色，能在小樣本情境下穩健捕捉底層分布的主要結構，證明其適用於資料維度較低且缺失較隨機的任務。
• 針對高維圖模型結構估計問題（如社群偵測與基因資料分析），則變分方法表現優異，不只在準確度上勝過傳統缺失資料處理基線，也提升模型對高維複雜缺失結構的適應能力。
• 此外，實驗涵蓋了非均勻缺失機制的場景，皆展現兩種方法在不同情境下的兼容性與強健性。

這些實驗結果不單確認了理論分析的預測，更向業界展示缺失資料 score matching 方法的實用價值，尤其當標準最大似然無法有效處理時，提供可靠的替代方案。

對 AI 領域的深遠影響

本文提出的缺失資料 score matching 方法在理論及應用層面均開創新局：

• 理論層面：本研究填補了缺失資料分析與無正規化模型估計兩大領域間的空白，進一步推動 score matching 理論從完整資料向缺失資料場景的關鍵跨步。其提出的有限樣本界限與變分推斷策略，為後續研究提供豐富啟發。
• 方法層面：靈活可調的 IW 與變分框架，為處理多樣缺失機制提供新範式，且易於整合至現有的能量基模型、擴散模型及圖結構學習演算法中，擴大 score matching 在真實應用的範圍與效率。
• 應用層面：在現代 AI 領域中，數據完整性不再是理想假設，缺失資料問題普遍存在於醫療、生物信息、社會網絡分析等場景。本論文方法的推出，將強化這些領域模型的實用性和準確性，充份發揮資料的潛在價值。

總結而言，《Score Matching with Missing Data》不僅是對理論機器學習的一大貢獻，更具備真實世界挑戰的高度實用意義。隨著缺失資料問題日益嚴峻，本文方法有望成為未來分布學習及生成模型設計中不可或缺的技術利器，有效推動 AI 在高維不完整資料分析中的理論創新及應用深度。

---

論文資訊
📄 Score Matching with Missing Data
👥 Givens, Liu, Reeve
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2506.00557

Conformal Prediction as Bayesian Quadrature

隨著機器學習系統逐漸被應用於諸如醫療診斷、金融風控及自動駕駛等高風險領域，如何準確評估模型在實際部署中的預測不確定性，成為 AI 研究與工程中一項關鍵挑戰。傳統的黑盒模型雖然在性能上取得驚人成果，但預測結果的可靠性往往難以保證，尤其在資料分布可能偏移或未知時更是如此。為此，分佈無關（distribution-free）的不確定度量方法如保準預測（conformal prediction）被廣泛研究，因其能在無須假設特定資料分佈的情況下，對模型預測的損失提供嚴格保證，成為實務上極具吸引力的工具。

然而，傳統保準預測方法根植於頻率主義（frequentist）概率理論，透過有限樣本的數據重複抽樣性質推導保證，但其所給出的區間通常較為保守，且對於損失的概率分布描述較為粗糙，缺少對損失變動性的豐富認識。此外，頻率主義的不確定性量化難以納入先驗知識，也不易與貝葉斯方法整合，限制了其在模型評估上的彈性與資訊深度。

本論文由 Snell 與 Griffiths 於 ICML 2025 提出，榮獲 Outstanding Paper 獎項，突破性地從貝葉斯視角重新詮釋與擴展保準預測框架，將其視為一種「貝葉斯積分法」（Bayesian Quadrature）問題。這一創新視角不僅揭示了傳統頻率主義保準預測的局限性，也為不確定度評估提供了一條全新且更具解釋力的道路。

研究背景與動機

保準預測因其不依賴資料分布假設，且能提供可控誤差上界的特性，成為黑盒模型不確定性估計的熱門方法。然而，在實務中，頻率保證多半是漸近且針對整體失誤率的平均行為，無法反映單一次測試輸出對應的不確定度內涵。此外，這些方法難以有效融合領域知識，或是對損失函數的先驗分布建模，導致其應用在更複雜及高度非對稱誤差風險場景時效果受限。

另一方面，貝葉斯方法擅長透過先驗知識與觀測資料進行後驗推斷，對不確定度提供更為豐富且具體的表示。但要如何將貝葉斯框架自然地應用於不確定度量與風險控制，尤其在保準預測所追求的分佈無關性條件下，仍是一大難題。

核心方法與創新

作者提出將保準預測的核心「校準」過程視為對損失分布進行貝葉斯積分的任務。具體而言，傳統保準預測中會利用歷史校準數據構造一個預測區間，確保新數據點存在於該區間的機率達到指定置信度。論文觀察到，此過程等價於對損失函數的分布進行積分評估，而此積分問題可以透過 Bayesian Quadrature 技術來求解。

Bayesian Quadrature 是一種基於高斯過程（Gaussian Process, GP）回歸的數值積分方法，能在少量評估點的情況下推估積分結果的後驗分布，不僅能給出積分估計值，也自然提供積分不確定度的量化。作者設計了一種新的貝葉斯保準預測算法，透過高斯過程對損失函數在測試階段的表現進行建模，利用先驗與歷史校準數據推斷損失的後驗分佈，並利用 Bayesian Quadrature 計算損失的置信區間。

此方法相較於傳統頻率保準預測，具備以下創新優勢：

• 能提供對損失分布的不確定度全貌，不僅是置信區間的邊界，而是整體損失分布的後驗信念。
• 可靈活引入先驗知識，調節對損失函數行為的假設，進而提升校準效率與準確性。
• 生成的風險保證更具有解釋力，有助於風險管理者理解模型在不同情境下可能承擔的損失範圍。
• 跨越頻率主義與貝葉斯哲學的鴻溝，為分佈無關的不確定度量方法開啟新的理論與實踐途徑。

主要實驗結果

作者在多個包含回歸與分類任務的標準基準數據集上，進行了廣泛實驗，對比了傳統頻率保準預測與其貝葉斯保準預測方法。實驗結果顯示：

• 貝葉斯保準預測在校準效率上顯著優於標準保準預測，意味著其在相同數量的校準數據下，能提供更精確的置信區間。
• 在模型輸出損失可能高度不對稱或多模態的複雜場景中，貝葉斯方法能更好地捕捉損失分布的細節，提供更具信息量的不確定度描述。
• 其損失後驗分布估計能夠為決策制定者提供額外的風險評估信息，有助於定制更穩健的安全閾值。
• 在模擬資料分布偏移的設定中，貝葉斯方法展現較佳的泛化校準能力，提升部署時的風險控制信心。

對 AI 領域的深遠影響

本論文從理論與實踐雙重角度，成功將保準預測與貝葉斯數值積分相結合，打開了不確定度量方法的新視野。這種跨哲學體系、跨方法論的融合，為 AI 領域中風險可控的模型部署提供了更為強大且靈活的技術基礎。

首先，此研究促進了保準預測方法的理論深化與擴展，挑戰了過去僅依賴頻率視角的範式，讓學術界與工業界能以更精細的概率語言理解和控制風險，進一步提升了這類方法在醫療、金融等高風險應用上的可信度。

其次，貝葉斯保準預測所帶來的先驗知識注入與後驗不確定度完整刻畫，不僅使風險評估更具解釋性，也為自適應校準、動態風險管理等後續擴展應用提供理論支持與實踐路徑。

最後，此論文展現了 Bayesian Quadrature 技術在機器學習不確定度量上的強大潛力，激勵更多研究聚焦於如何借助貝葉斯視角，提升對模型不確定度的深度理解與有效控制，推動 AI 系統向更安全可靠方向發展。

總結而言，Snell 與 Griffiths 的《Conformal Prediction as Bayesian Quadrature》不僅是一篇理論創新與實驗驗證俱佳的傑出論文，更為 AI 不確定度量領域帶來了跨越性突破，具備開啟未來多元研究與實踐革命的潛力。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228

Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理（NLP）與生成式AI領域的蓬勃發展，次一詞（next-token）預測策略成為主流訓練和生成的方法。然而，雖然這類方法在多數語言理解與生成任務中表現優異，其固有的「近視性」也逐漸被揭示——即模型通常依賴局部上下文作出下個字元的最佳預測，卻難以長期規劃、更具前瞻性的創造思維受到限制。Nagarajan等人於ICML 2025發表的論文《Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction》即是針對此一瓶頸，從理論與實驗雙面向提出深入探討與突破性見解，並榮獲Outstanding Paper獎項肯定。

研究背景與動機

當前主流的生成式模型，如GPT系列，訓練目標多為最大化下個字元機率分布，即「next-token prediction」。這種方法在符合短期上下文模式及語言統計規律上十分有效，但當面臨真正需要長遠思考與高度創造力的複雜任務時，便顯得不敷使用。作者指出，現實世界中許多開放式任務，無論是字詞遊戲、類比思考，甚至類蛋白設計或數學題目構建，其本質涵蓋一個隱藏的、多步驟、不確定且具有探索性的規劃問題，這是next-token預測難以直接模擬的。

因此，作者希望搭建一套「最小但具代表性」的演算法任務，以模擬此類開放式的創造需求，藉由對比不同方法，量化並解析next-token預測在創新能力上的侷限，並探索能突破此限制的替代訓練與生成策略。

核心方法與創新

本論文核心構想在於設計一系列簡化且可控的抽象任務，這些任務可視為抽象知識圖譜上的隱式探索問題：

• （一）發現新連結：透過在抽象符號結點間尋找尚未顯性記錄的連結，對應現實中的詞彙遊戲、類比推理、科研發現等。
• （二）創造新模式：組合現有元素生成全新結構，例如數學題目設計、蛋白質結構預測等創新任務。

在這些任務上，傳統的以next-token為訓練目標的語言模型，由於著眼於短期、貪婪式的概率最大化，表現出明顯的探索不足與多樣性匱乏。作者對此提出了兩種主要突破方法：

1. 無教師（teacherless）訓練方法： 藉由不借助預先標註的輸出目標，而是透過生成與評估結合的做法，模擬探索性策略，鼓勵模型進行長期規劃與嘗試多樣選擇。
2. 擴散模型（Diffusion Models）應用： 與next-token生成不同，擴散模型通過逐步逆擾動過程（reverse diffusion）生成樣本，具備更強的隨機性與多樣性，促使結果跨越局部最優。

此外，本論文也在生成多樣性與文義連貫性之間找到巧妙平衡：

• 傳統採用的溫度採樣（temperature sampling）會在生成階段調節概率分布的平滑度，增加隨機性，但可能破壞文法或語義連貫性。
• 作者則提出「種子條件化（seed-conditioning）」的噪聲注入方法，直接於輸入層施加微小隨機擾動，能有效激發多樣性卻不犧牲輸出質量，實驗中更展現部分條件甚至勝過溫度採樣。

主要實驗結果

透過嚴謹實驗設計，論文展示如何在所設計的抽象任務下比較多種生成策略：

• Next-token 預測模型： 雖然生成質量穩定，但在創造新知識連結及構造新模式的多樣性與創新性方面表現有限，容易陷入局部解。
• 無教師訓練方法： 顯著提升生成輸出的探索性與多樣性，能更好捕捉複雜任務中所需的長期規劃能力。
• 擴散模型： 能在控制文義合理性的前提下，產生更多原創且多變的內容，尤其在需跨越多步抽象狀態空間任務中更具優勢。

關於隨機性的控制方面，種子條件化帶來的噪聲注入，既保持生成連貫，又讓模型探索更多潛在解空間，成為一項輕量且有效的實作技巧。

作者亦公開了部分代碼與測試套件，促進後續社群對此問題進一步的研究與擴展。

對 AI 領域的深遠影響

本論文提出了一個系統性且概念清晰的框架，以「最小化抽象任務」的方式檢視目前語言模型在創意生成上的底層限制，為AI生成技術走向真正「創造力」水平提供參考依據。其影響力可從以下幾點說明：

1. 理論層面： 清楚揭示next-token預測的內在侷限，促使AI研究從機率化語言建模進入更高層次的計劃與探索範式。
2. 方法論層面： 融合無教師訓練與擴散模型，展示從單步預測到多步長程決策的演進路徑，並提出種子條件化這樣簡便易行的生成調節新手段。
3. 應用層面： 為語言生成、科學發現、創新設計、藥物設計等多領域注入具有探索性和多樣性的生成策略，突破傳統生成模型的僵化與模式化。
4. 社群推動： 透明公開代碼與測試平台，鼓勵業界與學術界對語言模型創造力限制的共同討論與跨領域合作。

總結而言，此篇作品不僅是對現有語言生成技術的深刻反思，更為日後打造具備「眼見未來」的AI系統奠定重要理論與方法基礎。AI 工程師與研究生若想深入理解生成模型如何從單純模仿，邁向真正的創造性思考，該論文提供了不可多得的洞察與實務指引。

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266

Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions

隨著生成模型在自然語言處理、圖像合成以及結構化數據等領域的快速發展，如何高效且靈活地建構具備強大生成能力的模型，一直是研究熱點。在離散域（例如文本生成）中，自回歸模型（Autoregressive Models, ARMs）長久以來被視為主流，憑藉其簡明的左至右生成順序，能有效捕捉序列依賴關係。然而，ARMs 在推理階段必須嚴格按照既定的序列進行逐步解碼，限制了生成的靈活性與效率。近年來，掩碼擴散模型（Masked Diffusion Models, MDMs）因能在推理時以幾乎任意的順序解碼，而成為面對離散域生成的新興方案，帶來了訓練複雜度與推理靈活性之間的新挑戰。

研究背景與動機

傳統 ARMs 透過 teacher forcing 於訓練階段學習固定且嚴格的解碼順序，這使得模型生成過程清晰且易於優化，然而這種順序限制同時也使推理效率較低，且難以利用平行或非順序的解碼策略。與之相對，MDMs 在訓練階段不僅要學習填補「掩碼位置」的多種可能狀況，這種多樣子問題的總數呈指數級增長，因而訓練極具挑戰；但它們的優勢是推理時不必拘泥於固定解碼順序，理論上可以根據具體問題靈活調整令生成更有效率。

本論文由 Kim 等人提出，目的在於深入理解 MDMs 訓練時碰到的「最壞情況學習」問題，與推理時「最佳順序選擇」的潛力。他們試圖透過理論分析與實驗驗證，揭露 MDMs 在離散生成任務中訓練與推理策略間的權衡，並提出一套能在推理階段智能選擇解碼順序的方法，大幅提升模型效能並降低推理難度。

核心方法與創新

首先，論文在理論層面證明 MDM 面臨的核心困難是：訓練階段必須同時解決一組「指數級」的補全子問題，而其中多數子問題是計算不可行的，與 ARMs 僅需解決固定序列子問題明顯不同。也就是說，MDMs「被迫訓練於最壞情況」（Train for the Worst），使得訓練成本與挑戰大幅增加。

另一方面，在推理階段，MDMs 能夠不受限於預先設定的固定順序，其解碼令牌的順序可以動態調整。作者提出一種基於模型自身信心水準的「適應性解碼策略」，該策略根據當前已生成資訊動態決定下一個要解碼的令牌位置，藉此「規避較難的子問題」，將推理任務拆成多個相對容易的子問題逐一解決（Plan for the Best）。此策略的關鍵點在於充分利用模型內在不確定性評估，實時調整解碼順序，提升生成的準確性與效率。

此外，研究者進一步針對經典邏輯推理問題 Sudoku 進行實驗。與傳統 ARMs 需要繁複設計解碼順序不同，MDMs 在採用他們提出的適應性推理策略後，展現了顯著突破。

主要實驗結果

論文先在 Sudoku 題庫上對比實驗發現：

• 採用固定順序推理的預訓練 MDMs，其準確率極低，甚至低於 7%。此結果印證此類模型若不利用順序靈活性，將因為難解子問題而表現不佳。
• 引入作者提出的適應性解碼策略後，MDMs 的解答準確率躍升至約 90%，大幅超越固定順序的限制。
• 相較於 ARMs，即使後者的參數量大約是 MDMs 的七倍，且透過 teacher forcing 專門學習最適合的解碼順序，MDMs 依然在準確率上取得更優表現。

額外分析也彰顯該適應性推理策略減少了推理過程中「最難令牌優先解碼」的概率，顯著降低了模型陷入最壞子問題的機會，提升了推理效率和效能。此外，作者也驗證了該策略在其他離散生成任務中的泛用性，展示出良好的擴展潛力。

對 AI 領域的深遠影響

此篇論文的貢獻，不僅是在理論與實驗上確立了 MDMs 在離散生成領域中的新地位，更提出了切實可行的解決方案來突破訓練和推理的困境。對於 AI 研究社群而言，他們擺脫了傳統 ARMs 固有的編碼順序限制，為未來設計更加靈活且高效的生成模型提供了嶄新的思路。

具體而言，適應性解碼策略引入了動態規劃與不確定性估計的概念，這對設計可針對複雜、結構化離散問題（如邏輯推理、程式碼生成、結構化文本等）有深遠影響。此方法可望激發後續研究聚焦於推理階段的動態策略優化，推動生成模型往更高效且泛化更強方向發展。

此外，該文揭露了 MDMs 在「訓練面臨指數級挑戰」的本質，強調了強化訓練策略與模型架構設計的重要性。未來研究可能會從減少訓練複雜度或引入更聰明的訓練樣本挑選機制著手，進一步降低資源需求，提升可用性。

總體而言，As Kim 等人這篇在 ICML 2025 被評為 Outstanding Paper 的研究，不僅深化了我們對離散擴散模型本質的理解，也為 AI 生成技術的靈活推理策略帶來革命性的啟示，預期將在離散生成模型及跨領域應用中持續發酵並激發新一波技術革新。

---

論文資訊
📄 Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions
👥 Kim, Shah, Kontonis, Kakade, Chen
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.06768

CollabLLM: From Passive Responders to Active Collaborators

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域的快速發展，這些模型已成為多種應用的核心技術，從文本生成、對話系統到輔助決策。然而，現有的 LLM 多半是以「下一回合」的反饋機制（next-turn reward）作為訓練基礎，這種設計使得模型主要聚焦於當下回應的合適性，卻忽略了互動對話的長期目標和使用者的更深層意圖。這導致一個普遍瓶頸：LLM 通常被動回應且缺乏主動進取的能力，尤其在面對開放式或模糊請求時，無法有效協助用戶完成複雜任務，造成對話效率低落。

針對上述問題，Wu 等人在 2025 年 ICML 論文《CollabLLM: From Passive Responders to Active Collaborators》中，提出了名為 CollabLLM 的新穎訓練框架，旨在突破傳統被動回應的侷限，邁向能主動協助用戶、深入洞察意圖的「協作式大型語言模型」。此論文榮獲 ICML 2025 的 Outstanding Paper 獎，體現其在多回合人機交互領域的突破性意義。

研究背景與動機

過去的 LLM 訓練常介於監督式學習和強化學習之間，並以「立即」反饋（如下一輪回答的品質）為指標，忽略對話過程中跨回合的長期影響。使用者在與 LLM 交互時，特別是在資訊搜尋、文件創作等多步驟任務中，往往期望機器不僅「應答」，更應該成為「協作者」，主動幫助整理思路、引導討論，甚至主動提出關鍵建議。現有模型缺少此類能力，導致用戶需花更多時間進行反覆溝通，降低人機協作的效率。

此問題彰顯出改變回應機制、以多回合整體表現為優化目標的迫切需求。CollabLLM 正是在這樣的背景下誕生，核心目標是設計一套可以讓 LLM 從被動回應者轉變為主動協作者的訓練策略。

核心方法與創新

CollabLLM 的最大創新點是引入「多回合感知獎勵系統」（Multiturn-aware Rewards）及「協作式模擬訓練」（Collaborative Simulation）。此方法的關鍵在於，模型在訓練過程中不再只收到單一回合的回饋，而是透過模擬多回合交互，評估整體對話對完成使用者最終目標的貢獻。

• 多回合感知獎勵： 傳統獎勵只考慮下一輪回應的即時品質，CollabLLM 則設計了能量化「整個對話序列」中每個回應對最終任務完成度的貢獻獎勵，強化模型在多輪互動中的長期規劃能力。
• 協作式模擬訓練： 利用多輪模擬對話讓模型與模擬用戶進行交互，透過模擬自我協作過程探索更深層次的用戶意圖。模型不僅回應，更主動提出問題和建議，進行訊息引導與澄清，這超越了僅依賴客觀指令反應的傳統方式。
• 強化微調（Reinforcement Fine-Tuning）： 利用上述多回合獎勵機制來強化微調模型，使模型學會在多輪對話中最大化整體互動價值，塑造更加人本且合作導向的對話策略。

此外，作者自行設計了「多回合人機互動基準測試」（multiturn interaction benchmark），涵蓋三大挑戰性任務，如文件創作，測試模型在真實複雜任务中的長期協作能力。

主要實驗結果

在多項嚴謹實驗中，CollabLLM 展現了驚人的表現提升：

• 任務表現提升： 相較於基線模型，CollabLLM 在多回合任務整體完成度上平均提升了 18.5%，顯示其在理解與推進任務方面更為高效。
• 互動性大幅增強： 由大型語言模型評審評分中，其互動質量提升達 46.3%，反映 CollabLLM 不僅回應更合理，更主動帶出關鍵資訊和建議，促進更流暢的協作。
• 用戶研究驗證： 在涵蓋201位評審的用戶研究中，CollabLLM 提升了用戶滿意度 17.6%，同時用戶完成任務時間平均縮短了 10.4%，驗證模型的實用價值與用戶體驗的明顯改善。

這些數據充分說明，CollabLLM 在多回合協作的情境下，能有效理解並主動促進用戶訴求的實現，顯著优化了人機交互的質量與效率。

對 AI 領域的深遠影響

CollabLLM 的貢獻不僅限於提升 LLM 對話性能，更從根本上重新定義了人機交互模式，從「被動回應機」轉型為「積極協作夥伴」。該研究帶來以下深遠影響：

• 長期規劃取向的對話系統訓練典範： 傳統強調即時反饋的優化，無法應對多回合、跨步驟任務的複雜需求。CollabLLM 展示如何利用多回合獎勵與協作模擬，促進模型學習長遠目標，有利於未來開發更智慧且上下文敏感的對話代理。
• 推動協作式 AI 發展： 目前人工智慧的發展趨勢在於與人類並肩工作。CollabLLM 的框架提供了可行技術路徑，讓 AI 不再是「工具」，而是真正能與人類進行知識共享、主動輔助決策的協作者。
• 建立多回合協作衡量標準： 此論文針對複雜多回合任務構建了挑戰性評測，為未來該領域提供了公認的測試基礎，激勵更多研究聚焦於提升跨回合的持續互動品質。
• 應用面展望廣泛： CollabLLM 不只適用於文書創作，未來可延伸至教育輔導、醫療諮詢、專業決策支持等多種場景，讓 AI 在多步任務中與人類形成更緊密且高效的合作關係。

總結來說，CollabLLM 的誕生是大型語言模型演進史上一個重要里程碑。透過將多回合整體目標納入優化範疇與引入協作式模擬訓練，該研究首創性地推動模型從被動反應轉變為主動洞察及引導，用人機合作的視角刷新了未來對話智能的設計準則。這不僅促進了學術界對多步交互強化學習的理解，也為實務上建構更人性化、效率化的智能代理奠定了堅實基礎。

---

論文資訊
📄 CollabLLM: From Passive Responders to Active Collaborators
👥 Wu, Galley, Peng, Cheng, Li, Dou, Cai, Zou, Leskovec, Gao
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.00640