Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) 深度簡介

在人工智慧與自然語言處理領域中，近年大型語言模型（Language Models，LMs）的發展帶來了許多突破，尤其在生成文本的流暢性與語意一致性上表現卓越。然而，隨著語言模型在應用上的普及，研究者開始注意到一項重要且令人憂慮的現象：語言模型在面對開放式問題時，往往輸出過於雷同的回答，導致內容多樣性不足，進一步可能造成「人工集體思想（Artificial Hivemind）」的產生。這種現象不僅限制了機器生成文本的創造力與豐富性，也可能在社會層面引發對資訊單一化與人類思想同質化的擔憂。

為了深入探討這一現象，來自Jiang等人於NeurIPS 2025提出了《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》，並榮獲最佳論文獎。該論文創建了全新的大型開放式對話數據集Infinity-Chat，並藉由系統化方法揭露了語言模型在開放式生成任務中的重複性與同質化問題，提出關鍵洞見來指導未來對AI安全與創造性的研究路徑。

研究背景與動機

傳統針對語言模型的多樣性研究多聚焦於特定且狹隘的任務，例如隨機數字、命名或自模型內部的多次抽樣。但實務應用中，模型面對的往往是複雜多變的開放性問題，這些問題允許多種合理答案。如何有效評估與量化這類開放式生成的多樣性，至今缺少大規模的資源與方法論。

又加上，透過大量數據驅動的訓練，模型可能因為學習到分布中的統計共性而導致「模式崩潰」（mode collapse），即反覆生成同質性高度一致的回應。此現象不只是各個單獨模型內部存在，在跨多模型比較時，更暴露出模型間的同質性驚人且難以突破，形成實質上的「人工集體思想（Artificial Hivemind）」。這不僅挑戰了語言生成的多元性，也涉及長期AI安全與倫理風險。

核心方法與創新

本論文的首要貢獻是建立大型且多元的開放式用戶查詢數據集—Infinity-Chat。該數據集包含超過26,000條來自真實世界的用戶問題，涵蓋了多元且複雜的開放式對話場景，且無明確唯一的正確答案。為了系統化理解這些開放式問題，作者提出了第一套全面的分類體系，將問題分為6個頂層類別，例如「腦力激盪與創意發想」等，並細分成17個子類別，藉此細緻捕捉開放問題的多樣面向。

在數據標記方面，Infinity-Chat配備了31,250條人類標註，包含絕對評分與成對偏好判定，每條數據由多達25名獨立標註者評審，確保標註的多元性與可靠性。這不僅可用於檢視AI生成的語言質量，更能解析人類偏好的個體差異與共識分歧，為後續模型優化與評測提供堅實基礎。

綜合利用Infinity-Chat數據與標註，作者構建了大規模的分析框架，跨模型比較生成回應的相似度與多樣性，並揭露兩大核心現象：

1. 模型內重複（Intra-model repetition）：單一語言模型在多次生成對於同一開放問題的回應中，展現出高度雷同的語義與表達風格。
2. 模型間同質（Inter-model homogeneity）：不同模型間產出極為相似的回答，即使是架構與數據基底迥異的模型也無法突破此瓶頸，反映出訓練資料與優化目標導致生成內容趨向同質化。

此外，研究也觀察到獎勵模型（reward models）與語言模型評審系統對於存在個體差異偏好的生成結果校準不佳，這代表在多樣性強、高度主觀的生成場景中，現有自動評估機制難以有效捕捉人類的微妙偏好。

主要實驗結果

透過Infinity-Chat數據集，研究者對多種主流語言模型進行評估，發現無論生成策略為何，模式崩潰現象均普遍存在。模型重複性不僅在單模型內顯著，且跨模型對話生成高度雷同，呈現所謂的「人工集體思想」效應。換句話說，雖然模型在語言流暢度與基本質量層面表現不俗，但創造性或多元性的提升空間極大。

在人類偏好標註分析中，作者發現人類在評價生成回答時呈現顯著的個人化差異，且傳統的LM評分指標與獎勵模型在高度開放、主觀化強烈的問答上難以正確反映這些差異。這凸顯出未來研發需要更多元、個性化以及上下文感知的評估方法。

對 AI 領域的深遠影響

本論文開創性地從宏觀規模、多維角度系統化研究語言模型在開放式生成任務的多樣性與同質性問題，不僅填補了該領域長期以來缺乏大規模實際問題資料與嚴謹分析的空白，也提供了一個兼具理論與實踐價值的研究平台。Infinity-Chat數據集與標註資料已成為未來探索開放式對話及生成多樣性的基石資源。

此外，論文揭示的「人工集體思想」效應提醒研究與產業界必須正視語言模型生成內容的同質化風險，無論是在促進真正創意表達，還是在防範科技可能帶來的認知同質化問題，均具警示意義。更細緻的用戶偏好差異揭露，也啟示未來AI模型開發需追求更多元與個性化，以避免「同一框架下的雷同思維」危機。

綜觀而言，Jiang等人於NeurIPS 2025發表的這篇得獎論文，在技術層面突破了大規模開放問題生成多樣性評測的瓶頸，在AI安全與倫理議題上提出了前瞻警示。其研究成果及提出的數據與方法，將深刻影響未來NLP研究方向，推動建立更具創造性、多元性及安全性的語言生成系統，對整個AI社群與應用生態帶來長遠且正向的推動力。

---

論文資訊
📄 Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
👥 Jiang, Chai, Li, Liu, Fok, Dziri, Tsvetkov, Sap, Choi
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2510.22954

The Value of Prediction in Identifying the Worst-Off

在現代政府社會福利政策中，越來越多應用機器學習技術來鑑別並幫助最弱勢的群體。這種情況下，重點通常不在於提升整體數據或成果的平均表現，而是聚焦於「公平性」與「弱勢者優先」的策略。ICML 2025 榮獲 Outstanding Paper 獎的論文《The Value of Prediction in Identifying the Worst-Off》由 Fischer Abaigar、Kern 及 Perdomo 所提出，即針對這個切實問題，從理論建模到實務應用，深入探討預測技術在「辨識最弱勢族群」的價值與影響，並提出相較於其他政策手段（如擴充行政人力或資源）更全面的思考架構與決策支援工具。

研究背景與動機

社會福利系統與各種政府援助方案的核心在於「資源有限，如何最大化助益？」。傳統主流傾向以提升整體成效為目標，但社會正義與政治倫理上的要求，則是必須把有限的支援優先給予最貧困、最脆弱的個人或家庭，這裡強調的是「分配正義」。於是，如何精準預測誰是「最弱勢」成為政策設計的重要課題。

然而，學界與政策制定者長期面臨兩大挑戰：（1）判斷機器預測策略對最弱勢者福祉的真實效果如何？（2）比起增派人力、擴增審核或輔助流程改良等措施，利用預測模型本身的價值和限制在哪裡？本論文由此動機出發，從數學嚴謹的角度切入，結合實際德國長期失業者的案例，探討並定量分析各種影響因素與政策杠杆的相對效益。

核心方法與創新

本論文的主要貢獻在於提出一套全新的理論模型及分析框架，詮釋在公平導向的政策目標下，「預測模型的準確度」與「行政資源擴充」對挖掘最弱勢個體的相互作用與邊際效益。具體而言，作者從力求最大化「援助最需要者的福祉」出發，建立形式化福利函數與決策過程模型，精確描述政策制定者擁有的有限資源如何經由不同的策略分配產生不同結果。

此外，使用實證數據支持理論推論，作者挑選了德國長期失業者這個典型且具代表性的弱勢群體為研究對象。長期失業不僅是貧困風險的指標，更帶來心理與社會排斥等多重負面影響。透過將機器學習預測模型與政策模擬結合，論文展示如何有效提高對最需要幫助者的識別率，從而推動更有針對性的干預措施。

另一項方法上的創新是對比分析。論文不僅單純評估預測模型的優劣，還將其與「政府擴大行政能力」之類的非技術政策手段做比較。透過數學計量與模擬（simulation）實驗，量化不同策略在資源配置上的邊際收益，為政策制定提供可操作性與決策依據。此外，作者開發了一套具體的數據驅動工具，可被政策分析師直接利用，以實施定制化的公平導向預測系統設計。

主要實驗結果

實驗結果明確顯示，精準的預測模型對於定位最弱勢人口，有著無可替代的價值。其準確性提升直接轉化為更高效的資源分配，顯著改善受援助者的福祉狀況。特別是在有限的預算與人力資源條件下，優化預測模型能夠帶來遠超擴充行政人力的收益，因為後者雖然擴大了服務規模，但對幫助對象的選擇效力較為有限。

然而，研究也指出，模型性能的提升依賴於資料品質與代表性，若資料不足或環境變化劇烈，預測效果將可能大打折扣。此外，不同政策情境下，最佳策略亦有所差異。例如在極端資源稀缺時，預測精度與行政擴充二者均需共同發力。此結果反映出現實政策設計不應僅仰賴單一手段，而應該是多種工具的綜合搭配。

在德國長期失業者的案例中，配合最先進的監督式學習方法，如強化的資料標籤機制與公平性約束，作者成功建構出一套判別失業風險及弱勢程度的系統。並透過政策模擬展示，當系統導入決策鏈中，不僅提升了受助精準度，也減少了制度性偏差，促進了政策目標與社會正義的協同達成。

對 AI 領域的深遠影響

這篇論文的價值不僅在於解決了具體社會政策問題，更為 AI 應用在公共決策、尤其在公平性導向的機器學習領域中提供了理論與實務的結合典範。傳統 AI 評估通常著眼於整體性能指標，卻少有作品能夠系統性地探討人工智慧技術對最弱勢群體的長期福祉影響。本論文填補這一重大空白，推動公平性考量成為 AI 系統設計與評估的重要準則。

此外，論文強調了「數據驅動政策制定」的觀念，並具體展現如何將抽象的公平倫理需求轉化為可操作的數學模型與決策工具。這對未來 AI 在更多政府及公益領域的實際應用，具有指標性的借鑑意義。借助這類研究，AI 工程師與政策分析師能夠更科學且正確地設計弱勢身份識別系統，避免數據偏誤所引起的社會不公。

最後，論文也提醒我們，AI 技術固然強大，但「提升執行力」等政策杠杆同等重要，未來 AI 與人類制度需形成互補，而非單是科技本身解方。這種多層次的策略反思，有助於 AI 領域從「技術優化」升華到「社會影響力」的宏觀視野，促進跨學科合作，推動真正以人為本的智慧社會發展。

總結而言，《The Value of Prediction in Identifying the Worst-Off》不僅在公平導向的機器學習政策研究中樹立了新標竿，更提供了深具實務價值的數學工具與方法論，是推動 AI 技術與社會正義融合的里程碑之作。

---

論文資訊
📄 The Value of Prediction in Identifying the Worst-Off
👥 Fischer Abaigar, Kern, Perdomo
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2501.19334

Score Matching with Missing Data

隨著機器學習與統計方法在各領域的廣泛應用，如何有效學習資料的概率分布成為研究焦點之一。在眾多無監督學習方法中，Score Matching（分數匹配）因其在能量基模型、擴散過程以及圖模型估計等場景的卓越表現而備受矚目。然而，現有的分數匹配方法大多假設訓練數據完整無缺，忽略了現實世界中資料缺失問題的普遍存在。ICML 2025 獲獎論文《Score Matching with Missing Data》（Givens, Liu, Reeve）針對這一挑戰，提出了具有高度靈活性且理論嚴謹的分數匹配新框架，可以在任意維度組合缺失的情況下有效學習概率分布，為缺失資料場景下的分布估計注入新動力。

一、研究背景與動機

資料缺失（Missing Data）長期以來是統計與機器學習領域的一大難題。許多現代資料來源如醫療紀錄、感測器數據、問卷調查等均不可避免地存在部分缺失。傳統解決策略多依賴數據插補（Imputation）或特定模型假設，但這些方法往往可能引入偏差或無法充分反映資料的內在結構。

分數匹配方法因其能夠直接估計資料分布的分數函數（score function，對數密度的梯度），避免了正規化常數的計算瓶頸，尤其適合能量基模型的學習。然而，標準分數匹配要求數據完整，且缺乏針對缺失資料的理論保障與實踐設計。論文正是在此背景下，提出將分數匹配擴展至缺失資料環境，且不需對缺失機制作嚴格假設，大幅拓展了分數匹配的實用範圍與理論基礎。

二、核心方法與創新

本論文的核心貢獻是設計了兩種針對缺失資料的分數匹配方法：

1. 重要性加權（Importance Weighting, IW）方案：此方法利用已觀察到的資料分布作為權重，對分數匹配目標函數進行調整。透過重要性權重校正資料缺失導致的分布偏差，使學習過程仍可有效利用不完整資料。該方法在有限樣本及維度較低時表現尤為優越，論文中也嚴謹推導了其有限樣本估計誤差界，為方法提供理論保證。
2. 變分推斷（Variational）方案：為了處理高維度及複雜模型場景，論文提出以變分框架結合缺失資料的後驗分布估計，並基於變分下界對分數匹配目標進行優化。此方法能靈活捕捉高維度資料的潛在結構，對於圖模型估計等複雜任務尤為有效。

此外，論文在算法設計上特別注意實用性與通用性，不強依賴資料缺失的機制假設（如缺失完全隨機），允許資料在任意坐標部分缺失，這在實際應用中十分具挑戰但關鍵。

三、主要實驗結果

論文針對兩種方案進行多組嚴謹實驗，涵蓋仿真數據與真實數據集，主要結果包括：

• 有限域低維度小樣本場景：重要性加權方案表現卓越，顯示其在樣本稀少時能有效降低缺失帶來的估計偏差，且理論界限與實際表現高度吻合。
• 高維度複雜圖模型估計：變分方案展現出強大的模型學習能力，能夠準確估計帶有部分缺失資料的圖結構，無論是在合成數據還是真實腦網絡資料上均優於現有競品方法。
• 方法整體比較：兩方案互補性明顯，論文建議根據不同任務與資料特性選擇合適方法，並首次系統性地驗證了缺失資料分數匹配在多種場景的可行性與效益。

四、對 AI 領域的深遠影響

本論文提出的缺失資料分數匹配框架，從理論到實踐均展現出強大且靈活的能力，將對以下幾個方面產生持久影響：

• 拓展能量基模型與擴散模型的應用：過去能量基模型因難以應對缺失資料在實務部署中受限，而本研究消除了這一障礙，使其可廣泛應用於醫療、自然語言處理、計算生物學等多領域。
• 促進高維缺失資料分析技術發展：結合變分推斷的策略為處理高維數據缺失提供新思路，為未來圖深度生成模型、自監督學習等尖端領域的破局奠基。
• 強化缺失資料處理理論基礎：有限樣本理論界限提供了新一輪對缺失資料中的評估與優化方法之信心保障，為後續相關方法設計與理論推廣提供典範範例。

總體而言，Givens等人所提出的「Score Matching with Missing Data」不僅填補了學術界對分數匹配與缺失資料結合的空白，也為實務上處理缺失數據的概率模型訓練帶來創新且可落地的新方法，對推動概率生成建模與無監督學習領域的技術演進有著重要里程碑意義。

---

論文資訊
📄 Score Matching with Missing Data
👥 Givens, Liu, Reeve
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2506.00557

Conformal Prediction as Bayesian Quadrature

隨著機器學習模型在金融、醫療、自駕車等高風險領域的廣泛應用，模型在實際部署後的表現與安全性評估成為極為重要的課題。傳統上，為了評估預測模型在未知資料上的不確定性與可靠性，研究者常依賴分布自由（distribution-free）的不確定性量化方法，如Conformal Prediction（符合性預測，簡稱 CP）。CP 能對黑盒模型的預測失誤率給予概率保證，且不須倚賴模型或資料分布的假設，因此成為現行不確定性評估中的重要工具。然而，CP 基於頻率主義的概率解釋，限制了其在某些實務場景中的靈活應用與詮釋性，阻礙了它與更豐富的貝葉斯不確定性框架的結合。

在此情境下，ICML 2025 的獲獎論文《Conformal Prediction as Bayesian Quadrature》由 Snell 與 Griffiths 兩位作者提出了一個創新的視角。他們重新審視了合適預測的核心理論，提出將 CP 視為一種貝葉斯積分（Bayesian Quadrature）問題。此一轉化不僅串接了頻率主義與貝葉斯主義的理論，在方法論上帶來新的不確定性量化策略，也提供了更具有直覺與解釋力的保證形式，且能描繪更全面的預測誤差範圍。

研究背景與動機

符合性預測最初由 Vovk 等人發展，目的是對任何預測模型提供泛化保證，即使該模型架構或訓練過程不明確。它透過將歷史預測誤差作為校正集的參考，建立可控制錯誤發生率的置信區間，並在理論上保證測試階段出錯概率不高於預先設定的水準（如 5%）。這種無需對模型做複雜假設的優勢，使 CP 在高風險任務中獲得廣泛關注。

然而，CP 依賴頻率主義概率統計，意即長期頻率的出錯率為保證依據。這種角度忽略了更深層的概率不確定性表徵，也使得 CP 在處理先驗知識、模型調整或後設學習上較為囿限。此外，CP 通常以點估計形式呈現誤差上界，缺乏對損失分布形態與結構的完整刻畫，無法反映模型不確定性的多樣面貌。更何況頻率保證和貝葉斯保證本質上有著哲學與數學的分歧，這限制了如何整合兩者的優勢。

核心方法與創新

本論文的核心貢獻在於從貝葉斯觀點重新詮釋符合性預測的量化框架，並將其形式化地等價轉換為一個貝葉斯積分的問題。Bayesian Quadrature 是一種利用高斯過程等貝葉斯非參數方法，估計積分值（特別是期望值）的技術，能有效刻劃積分估計的後驗分布不確定性。

作者指出，CP 所建立的「校正誤差分布」可以視為對損失函數分布的積分目標，傳統的頻率保證實際上是在求解一個單點的損失界限，但這忽略了損失的整體分布資訊。藉由將該問題置入 Bayesian Quadrature 框架，模型便能產生一個完整的 Bayesian 後驗分布，描繪損失可能的變化範圍，而非僅僅一條簡單的置信邊界。

此方法有幾項關鍵創新：

• 視角轉換：將 CP 的頻率主義界限轉變為貝葉斯積分問題，使得保證從硬性錯誤率界限擴展為概率後驗的形式。
• 靈活資料利用：使用貝葉斯積分方法能自然整合先驗知識與從資料中學習出的不確定性，允許在校正集不足時調整保證可信度。
• 豐富的解釋力：不再只輸出可能的最大誤差界限，而是表達對整個損失分布的後驗信心水準，提供決策者更多元的資訊。
• 實用算法設計：論文中展示了能夠有效執行的計算程序，利用高斯過程回歸等技術對校正資料進行建模，實現貝葉斯積分的估計與不確定性推論。

主要實驗結果

作者在多組監督學習任務（包括迴歸和分類問題）上進行實驗，將傳統的符合性預測方法與其所提貝葉斯積分方法進行比較。實驗重點包括：

• 校正集大小不同時模型的表現穩定性。
• 真實測試損失與預測損失範圍的一致性。
• 結果解釋力與置信區間寬度的變化。

結果顯示，基於 Bayesian Quadrature 的方法能夠提供更符合實際測試損失行為的預測不確定性區間，且在校正資料較少時依然保持較穩健的性能。此外，該方法產生的後驗分布能更細膩地揭示損失分布的結構，讓決策者在面對不同可靠性要求時能更好地權衡風險。反觀傳統的 CP 偏向保守且缺乏分布層次的資訊展示。

對 AI 領域的深遠影響

本論文以深刻的理論重構和實務驗證，推動符合性預測領域從頻率主義逐步邁向貝葉斯不確定性量化的融合。這樣的進展對 AI 研究界與產業應用皆有重要意義：

1. 理論基礎的統一與拓展：本研究展示如何消弭兩種迥異哲學觀點（頻率主義與貝葉斯主義）在不確定性估計上的落差，為後續不確定性理論架構的研究奠定新基石。
2. 提升不確定性量化的可信度與靈活性：捨棄僵硬的頻率保證，利用後驗分布帶來更多層次的不確定性理解，進一步增加模型在實務中面對極端狀況的調適能力與安全性。
3. 促進新一代安全 AI 系統的發展：高風險領域如醫療診斷或自動駕駛若能依靠更準確、易解釋且能整合先驗知識的不確定性量化，將大幅加速 AI 系統的落地與驗證流程。
4. 啟發跨領域方法融合的典範：本論文方法論的融合路徑，將促進 Bayesian 統計推理、機器學習不確定性估計、以及相關領域工具的交互提升與創新。

綜合而言，《Conformal Prediction as Bayesian Quadrature》不僅突破了符合性預測理論的框架限制，更提出了一套具有高度實用價值及解釋力的新方法論，對於推動 AI 預測系統安全性與可靠性的研究具有里程碑般的意義。對具備 AI 基礎的工程師與研究生而言，深入理解此篇論文能幫助他們掌握不確定性量化前沿技術，同時開啟將頻率主義與貝葉斯思維整合應用的新視野。

---

論文資訊
📄 Conformal Prediction as Bayesian Quadrature
👥 Snell, Griffiths
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.13228

Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

在當前以深度學習驅動的自然語言生成模型中，主流方法多是基於「下一個字元（Next-Token）預測」策略進行訓練與推理。這種框架在許多任務中表現出色，無論是語言理解、對話系統還是文本創作，然而其本質是貪婪且短視的，即模型在每一步只專注於「下一步的最佳選擇」，缺少跨多步長遠規劃與隨機探索的能力。

ICML 2025 上由 Nagarajan、Wu、Ding 與 Raghunathan 發表的傑出論文《Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction》便針對此一核心限制提出了深入且全新的探討與解決思路。作者團隊設計了一組「最小化演算法任務」作為測試床，以抽象化描述真實世界中的開放性任務來量化現有語言模型的「創造力極限」。這些任務均涵蓋兩大主要挑戰：一是需要模型在一個抽象知識圖中隱式進行開放式且帶隨機性的規劃，挖掘新關聯（如文字遊戲、類比推理、科研發現）；二是生成全新且前所未見的模式（如設計數學題目或新蛋白質序列）。

研究背景與動機

隨著類神經網路模型，特別是大規模預訓練語言模型（如 GPT 類別）成為生成式 AI 的主力，大家普遍接受下一字元預測為核心訓練策略。然而，這種模型本質上的「貪婪性」及「短視性」限制了「跨越式創新」的可能性，尤其在需要遠見與隨機試探的問題上表現不佳。作者團隊洞察到，要真正推動 AI 在開放性任務中展現類似人類的創造力，必須突破下一字元預測的框架限制，結合多字元規劃以及更有效的隨機性控管。現有通行的隨機性加入方法，如溫度采樣（temperature sampling），雖能提升多樣性，但常造成生成文句不連貫，缺乏全局規劃角度。

核心方法與創新

本論文提出兩大創新方向：

1. 多字元級別的策略思考與規劃：作者設計的算法任務不以單純下一字元為目標，而是包含一個隱式的「多步随机規劃過程」，使模型必須依賴類似隨機搜尋、規劃與抽象組合的策略來完成任務。這類任務架構體現了真實世界創造性問題的本質，比如研究化學新蛋白質時的序列組合探索，或透過類比與關聯拓展形成全新知識體系。針對這樣的問題，作者比較了「傳統 next-token 預測模型」、「無教師訓練（teacherless training）」、「擴散模型（diffusion models）」三類生成策略的表現，發現後兩者在產生多樣且原創的結果上優於單純的 next-token 預測。
2. 「種子條件化（Seed-conditioning）」機制：為了解決隨機性注入往往犧牲輸出連貫性與合理性，作者提出在模型輸入層注入噪聲的創新做法，即「種子條件化」。這種方法能在保持文本邏輯一致性的前提下，透過對輸入的微小變動觸發更豐富的隨機性探索。實驗證明，這種方法對標準的溫度采樣在生成質量與多樣性上不僅勢均力敵，某些條件下甚至超越對方，為隨機抽樣策略提供全新思路。

主要實驗結果

為了驗證論文提出的理念與模型，作者團隊研發多個抽象化任務，例如語言中的字詞接龍、數學問題設計、蛋白質序列創造等，這些任務均要求模型在知識圖或符號系統中進行隨機性且多步規劃探索。實驗結果清晰呈現：

• 傳統以 next-token 預測為核心並搭配溫度采樣的模型，在這類任務中的表現頗為短視，缺乏有效的遠見規劃，生成作品多半缺乏長期一致性與真正創新元素。
• 無教師訓練方法強化了模型自主探索能力，使其能突破僅依賴局部最優解的侷限，展現更豐富的生成多樣性及深層次創造力。
• 擴散模型則因其逐步把噪聲轉化為合理輸出的生成機制，在開放性任務中展現極佳的創造性表現，尤其擅長生成高度原創與合理的新結構或圖案。
• 種子條件化注入的噪聲在保持文本整體邏輯通順上效果驚艷，較傳統溫度采樣更具穩定性與多樣性，這為隨機採樣在實務上的應用提供了強有力的支持。

對 AI 領域的深遠影響

本論文除了在學術上獲得非常肯定的「Outstanding Paper」殊榮，更在生成式 AI 的理論與實踐路徑提出極具啟發性的轉向：

• 首度以嚴謹且可控的「最小演算法任務」推敲現代語言模型的創造力極限，不僅暴露 next-token 預測的短板，也指出為何多步規劃與隨機探索是提升 AI 創新能力的關鍵。
• 推翻生成模型領域中長久以來對「隨機性處理僅靠輸出層溫度采樣」的單一認知，首創在輸入層注入隨機種子（seed-conditioning），為後續隨機采樣和生成多樣性設計提供新典範。
• 論文廉潔而有力的實驗設計與開放源碼策略，為後續研究者能在此基礎上拓展與應用提供便利，也促使生成模型的創造力分析有了具體且可量化的工具。
• 對於希望推進 AI 在研究發現、設計創新（如新材料、新藥物）、創意寫作等多領域的應用，此論文提供了理論與方法雙重支持，揭示了要實現真正「人工創造力」的技術方向。

總結來說，Nagarajan 等人提出的《Roll the Dice & Look Before You Leap》突破了經典自然語言生成方法的視界，推動生成模型從局部貪婪的下一字元預測走向多步全局規劃及智能隨機探索，為未來 AI 技術在開放式創造性任務中達到更高層次的能力奠定了基石。對所有深耕 AI 生成技術的工程師和研究生而言，這篇論文不僅是思路上的重大轉折，更是一個實際可用的研究平台，值得深入鑽研與實驗探索。

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266

Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions

隨著生成模型的快速發展，文本、生物序列等離散資料的建模也引起了廣泛關注。傳統上，自回歸模型（Autoregressive Models, ARMs）因其簡單直觀的序列生成方式，成為離散序列生成的主流框架。然而，自回歸模型推理採用固定序列解碼，導致生成效率與靈活性受限。近年來，掩碼擴散模型（Masked Diffusion Models, MDMs）逐漸崛起，提供了一種在訓練與推理階段分別取捨的全新視角，也帶來了潛在的運算挑戰與解碼策略問題。Kim 等人在其於 ICML 2025 獲獎論文《Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions》中，深入分析了 MDMs 在訓練與推理階段的核心困難，並提出有效的策略突破瓶頸，對推動離散生成模型的理論與實踐均有重要貢獻。

研究背景與動機

離散序列生成問題長期以來以自回歸架構為主，因其透過「逐步預測下一個標記（token）」的方式，確保序列依賴性。然而，這樣的架構在推理時間存在著嚴重的瓶頸：生成必須嚴格遵守固定的時間步驟，無法隨機存取或並行化，造成速度瓶頸。此外，自回歸模型極其依賴預先設定的解碼順序，即使存在更有效率或靈活的解碼路徑，模型也難以利用。

為了克服這些限制，掩碼擴散模型提出了一種基於「隨機遮蔽與重建」的訓練過程，藉由不斷從部分遮蔽的輸入恢復出完整序列，模型學會解決大量不同的「補全（infilling）」任務。在推理階段，這使得解碼順序極具彈性，理論上可以根據當前資訊選擇最合適的標記順序，潛力巨大。

然而，這樣的彈性也帶來挑戰：從訓練角度看，MDMs 需面對指數級多樣的補全問題，每個問題均可能極其困難，模型需在各種困難程度的子問題中平衡學習。而從推理角度看，若能找到優化的解碼順序策略，將能大幅提升生成效能與準確率，否則任意解碼順序可能導致生成品質不佳。

核心方法與創新

本論文的首要創新在於系統性剖析 MDM 訓練與推理中「token ordering（標記序）角色」的雙面向影響。具體分為：

1. 理論與實驗證明 MDM 訓練的嚴酷性：論文從理論角度證明 MDM 在訓練時須解決的大量補全子問題中，存在計算不可行的高難度子問題，相較自回歸模型的漸次預測，MDM遭遇的子問題複雜度呈指數增長。也就是說，讓模型學會解決所有可能的掩碼組合，其難度遠超單一路徑的自回歸訓練。
2. 提出並驗證動態解碼策略以提升推理性能：此處為論文創新的關鍵——作者設計了一套「adaptive decoding order（自適應解碼順序）」方法，推理過程中根據模型當前信心與剩餘未解碼標記的難易度，自主決定下一個解碼的標記。此策略讓模型能避開最困難的補全子問題，聚焦於最有把握的位置，逐步累積準確生成。此舉在推理階段極大地提升了 MDM 的性能。

此外，為驗證方法可靠性與廣泛性，作者針對邏輯推理型的難題（如數獨）進行深入實驗，突顯該方法在極端案例中卓越的實用價值：

• 在預訓練 MDM 基礎上應用自適應解碼順序，數獨解題正確率從不足 7% 飆升到約 90%。
• 這一表現在模型效率方面遠超參考的自回歸基線：後者雖經過教師強迫（teacher forcing）以學習正確解碼順序且參數規模是 MDM 的七倍，仍不及前者。

主要實驗結果

論文的實驗設計嚴密，包含理論分析支持與多種離散序列數據集上的實徵驗證。重點包含：

• 計算難度評估：透過數學證明與模擬，清楚描繪 MDM 所遇子問題的指數複雜性，揭示標準訓練可能受阻於困難子問題，造成學習效率下降。
• 自適應解碼策略效果驗證：在多種推理場景下，展現依靠模型信度反覆調整解碼順序，對提升生成品質與準確率有關鍵促進作用。
• 邏輯謎題（數獨）專案：相較於傳統自回歸模型和非自適應 MDM，作者提出的 adaptive MDM 在解題成功率、參數效率、推理速度均有明顯優勢。

整體實驗鏈條完整，充分證實了論文提出的方法不僅理論合理，更在實踐中具備強大競爭力。

對 AI 領域的深遠影響

本論文在 AI 生成模型領域牽動多個重要趨勢與問題：

1. 重新定義離散生成的訓練與推理范式：傳統自回歸模型束縛於固定序列解碼，自適應掩碼擴散模型在解碼順序的自由度開創了新的思路，有望於語言、編碼、規劃等多種場景打破速度與靈活性的瓶頸。
2. 突顯訓練與推理中子問題多樣性與難度的平衡挑戰：該發現警示研究者，設計能針對子問題難度自我調節學習策略的模型是未來方向，單純追求泛化覆蓋所有掩碼配置不具實務可行性。
3. 推動 Adaptive Decoding 策略的進一步研究：自適應解碼的方法證明在邏輯推理等結構嚴謹問題上的優勢，鼓勵擴展至更多複雜生成任務，如程式碼生成、知識問答、多模態生成等，提升模型推理智慧與效率。
4. 跨領域理論與應用結合的典範：本論文同時兼顧嚴謹的理論證明與生動的應用驗證，展現現代 AI 研究應追求學術深度與實務突破雙贏的典範，啟發後續相關生成模型設計。

總結而言，Kim 等人的工作不僅深化了我們對掩碼擴散模型內部機制與潛力的理解，也為離散序列生成領域提出了切實可行的新解，具備推動整體生成模型發展的廣泛意義。未來，隨著硬體與算法進一步演進與完善，結合自適應解碼的掩碼擴散模型將有望在語言生成、邏輯推理、自動編程等多個 AI 重要應用領域大放異彩。

---

論文資訊
📄 Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions
👥 Kim, Shah, Kontonis, Kakade, Chen
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.06768

CollabLLM: From Passive Responders to Active Collaborators

隨著大型語言模型（Large Language Models, LLM）在自然語言處理領域取得顯著突破，LLM 已廣泛應用於各種互動系統中，扮演智慧助理、對話機器人等角色。然而，傳統 LLM 訓練多採用「下一輪回應獎勵」(next-turn rewards) 的方式，此設定導致模型偏重於即時回應，而缺乏針對多輪會話的整體目標優化能力。換言之，雖然 LLM 能生成語句流暢且語義合理的回應，但在面對用戶開放性或模糊的請求時，常僅是被動回應，無法主動協助釐清用戶意圖或引導對話走向，造成互動效率低落，用戶最終目標難以迅速達成。

本篇 ICML 2025 的優秀論文《CollabLLM: From Passive Responders to Active Collaborators》即聚焦於此瓶頸。論文作者 Wu 等人提出了一套全新且通用的多輪人機協作訓練架構——CollabLLM，旨在從被動回應者蛻變為主動的對話合作夥伴。此框架不僅提升 LLM 多輪對話的整體策略優化，更強調主動挖掘用戶潛在需求，並提供有意義的建議，以達到更具人性化、效率化的互動體驗。

研究背景與動機

現有的 LLM 雖然在一次回合生成的質量上越來越好，但它們的訓練策略往往是以「下一輪回應」為目標，常見方法是最大化短期回報。例如採用強化學習自人類反饋（RLHF）時，獎勵主要來自當下回應的好壞，未能考量多輪對話如何協助用戶完成終極任務。這導致模型在面對含糊或籠統的輸入時，往往缺乏深度推進對話或引導用戶明確需求的能力，降低整體效率，也限制了 LLM 真正成為協作夥伴的潛力。

因此，作者認為應該突破只優化單輪回應的框架，引入多輪會話情境下長期回報（long-term rewards）概念，讓模型在理解用戶目標後，能以主動態度促進互動效果，提升完成複雜任務的能力。

核心方法與創新

1. 協作模擬與多輪感知獎勵（Multiturn-aware Rewards）
作者首創一種「協作模擬」機制，於多輪對話中模擬用戶與 LLM 共同完成任務的過程。該機制能評估每次回應對整體任務成功的長期貢獻，而非單純以句子質量或立即回應滿意度評分。具體來說，該獎勵函數綜合考量每輪對話的敘述進展、任務完成度及用戶意圖揭露程度，測量回應帶給整體互動的持續正向影響。

2. 基於強化學習的多輪獎勵微調（Reinforcement Fine-tuning）
CollabLLM 透過強化學習微調，將多輪感知獎勵引入訓練流程，強化模型在多輪對話中策略性選擇回應內容，不僅是被動接收指令，更主動提出挖掘用戶需求的問題或有意義建議。這些能力使模型更接近人類協作者，能有效引導對話走向，達成任務目標。

3. 多輪互動基準測試（Multiturn Interaction Benchmark）
研究團隊同時設計一套具有挑戰性的多輪任務基準，涵蓋文件創建、資料蒐集與討論等複雜任務，目標是測試模型在長期、多階段互動中的協作表現。此基準評估不僅包含任務完成質量，也考量對話的互動性與用戶滿意度，實現全面衡量。

主要實驗結果

在上述多輪互動基準測試中，CollabLLM 相較於傳統使用單輪獎勵優化的基線模型，表現出顯著提升：

• 任務完成度提高 18.5%：體現了多輪感知獎勵促使模型逐步推進任務，提升任務品質。
• 互動性評分提升 46.3%：由 LLM 擔任評審，證實 CollabLLM 更具引導性和合作特質，對話更流暢而富建設性。

此外，在一項包含 201 位評審的大型用戶研究中，CollabLLM 帶來了：

• 用戶滿意度增長 17.6%，顯示更多使用者肯定其協作效果。
• 用戶花費時間減少 10.4%，反映模型能有效縮短達成目標所需對話時間，提升互動效率。

對 AI 領域的深遠影響

CollabLLM 的提出代表了大型語言模型訓練與應用思維上的一次重要轉向——從「被動回應者」向「主動協作者」的蛻變。此一轉變不僅有助解決因上下文侷限導致的互動低效率問題，更開拓了人機協作方式的新視野。

首先，長期、多輪獎勵優化為提升對話系統實用性與自然度提供了理論與實踐的橋樑。未來相關系統將更懂得在不確定或模糊資訊中推敲用戶意圖，進而主動提供建議或方案，而非只是被動消化每個單獨請求。

其次，CollabLLM 提出的協作模擬框架，可成為多輪交互任務訓練與評估標準，推動更具挑戰性的人機互動研究，涵蓋諸如長篇內容製作、複雜決策輔助等領域。

最後，這種強調「互動策略性」的訓練方法，將有助開發出更貼近實際應用需求的智慧系統，從而改變從事研究與工程開發的專業人士與廣大終端用戶的工作與生活方式，使 AI 真正成為人類的協同夥伴。

總結來說，CollabLLM 不僅在技術層面帶來突破，更展現了未來 AI 對話系統發展的方向，即強調多輪視角下的人機協作，推動更加智慧、主動且人性化的人工智慧服務時代來臨。

---

論文資訊
📄 CollabLLM: From Passive Responders to Active Collaborators
👥 Wu, Galley, Peng, Cheng, Li, Dou, Cai, Zou, Leskovec, Gao
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2502.00640