行有餘力則以學文

2026年6月29日星期一

Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

隨著大型語言模型（Large Language Models, LLMs）在各種自然語言處理任務中展現卓越的表現，強化學習（Reinforcement Learning, RL）因其能幫助模型在交互式環境中不斷優化策略的特性，逐漸被視為提升 LLM 推理能力的關鍵技術之一。特別是近期崛起的「具可驗證獎勵的強化學習」（Reinforcement Learning with Verifiable Rewards, RLVR）方法，在數學推理、程式編寫及視覺推理等領域取得顯著進步，被認為具潛力使 LLM 不僅在原基礎模型（Base Model）能力之上增長，甚至激發出嶄新的推理模式與策略。

本論文「Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?」由 Yue 等人發表於 NeurIPS 2025，並榮獲最佳論文第二名（Best Paper Runner-Up），作者針對 RLVR 在提升 LLM 推理力上的真實效能提出嚴謹且系統性的挑戰與驗證。他們從多個重要層面重新檢視 RLVR 培訓的 LLM 推理能力，並質疑目前的強化學習是否真的在本質上激勵了模型突破固有推理上限。

研究背景與動機

過去強化學習在經典領域如遊戲或機器人操控中，扮演了幫助代理人（Agent）透過試錯學習策略以達成任務的核心角色。類似地，現實中數種 RL 變形版本被引入提升 LLM 表現，尤其是 RLVR，它結合可驗證的獎勵信息，理論上應使 LLM 持續自我優化，學得新推理技巧。然而，工程與研究社群仍存在重要疑問：透過 RLVR 強化學習調教後的 LLM，是否真的獲得了超越其原先基礎架構限制的「全新」推理能力？或只是擅長從基礎模型的能力內部挖掘出更佳解答？

此問題的答案對未來如何設計 RL 與 LLM 交互訓練框架以及資源分配策略至關重要，因為如果現有 RLVR 方法僅是「包裝」而非「實質增能」的話，則需要更創新且深層的訓練架構，或改變對推理能力的評估標準。

核心方法與創新

本研究提出了全方位且細緻的評估框架，深入比較多種 LLM 家族、不同 RL 演算法，以及在數學、程式碼與視覺推理方面的模組化基準測試（benchmarks）。這些測試「通過率」的標準設定為 pass@k，其中 k 值大表示需要模型在 k 次嘗試中至少有一次成功，對於追蹤模型在較大答案集合下的推理覆蓋率特別有意義。

相較於多數先前工作只關注 pass@1（僅看單次輸出成功率），本論文強調使用較大 k 值，引導觀察模型是否真正具備廣泛且多樣的推理能力。研究同時分析模型置信度分布、計算熵（perplexity）與結果覆蓋率，量化基礎模型能力作為理論上限的概念。

重要的是，作者不僅比較六種流行 RLVR 演算法（例如 PPO、A2C 等）在推理表現上的差異，還引入蒸餾（distillation）的概念。蒸餾技術通過教師模型將更高階的認知或推理策略輸送到學生模型中，檢測是否能因此突破基礎模型範圍，使推理能力產生質的飛躍。

主要實驗結果

實驗結果非常令人震撼。儘管 RLVR 訓練後的 LLM 在 pass@1 表現上普遍優於基礎模型，代表其在單次嘗試中更常成功，但在魔鏡放大至高 k 值（如 k = 100）時，反而是基礎模型擁有更高的 pass@k 分數，意味著基礎模型潛藏的多樣推理解答比 RLVR 模型更為豐富。

更深入的分析發現，RLVR 模型的推理能力實際上沒有突破基礎模型的理論上限。從覆盖率和困惑度分析看，強化學習訓練像是「集中火力」在基礎模型已有的推理策略上優化選擇，但並未開發出新的推理模式或路徑。

此外，六種主流 RLVR 演算法在同一基礎模型上展現出相似的推理表現，且都遠未達到最大化利用基礎模型潛力的效果。此結果突顯目前 RLVR 實踐的瓶頸。

有趣的是，蒸餾過程能引入真正的新推理模式，因為教師模型的推理策略被「遷移」到學生模型中，使學生模型在覆蓋範圍與策略多樣性方面擴展超出基礎模型界限，成為突破單純 RL 訓練的有效途徑。

對 AI 領域的深遠影響

這項研究為 LLM 結合強化學習技術的發展指出了關鍵的理論與實務警示——簡單套用現有 RLVR 演算法並無法保證 LLM 推理能力的「本質」提升，更多僅是優化基礎模型已有策略的再利用。換言之，所謂「強化學習激勵推理能力」仍待更嚴謹的檢驗。

對於後續研究，作者呼籲開發更加精細且多元的強化學習訓練框架，包括：

持續尺度擴展（Continual Scaling）：透過不斷增加模型容量與數據多樣性，嘗試突破能力瓶頸。
多回合代理人-環境互動（Multi-turn Agent-Environment Interaction）：充分模擬複雜決策情境，使模型能嘗試多階推理過程。
更具結構和邏輯驗證的獎勵函數設計，遠超過目前簡單準確性回饋。

整體而言，本論文的洞察將推動 AI 社群對於 LLM 深層能力挖掘的思考，重塑如何將強化學習策略與自然語言推理結合的研究目標與方法論。未來在尋求讓 LLM 不僅是「模仿型」的文字生產者，更成為「真正懂得推理與解決問題的智能體」時，RL 的進階改良與融合顯得尤為迫切與關鍵。

最後，此研究提供了一道警鐘：不要被單次性能提升所蒙蔽，而需從更全面、多元及長遠的視角來評估模型能力的提升。唯有如此，我們才能在 AI 理論與實務上真正跨出關鍵一步，促進智能系統在推理、判斷與創新方面的根本突破。

論文資訊
📄 Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
👥 Yue, Chen, Lu, Zhao, Wang, Song, Huang
🏆 NeurIPS 2025 · Best Paper Runner-Up
🔗 arxiv.org/abs/2504.13837

Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training 深度解析

研究背景與動機

在近年生成模型（Generative Models）領域，擴散模型（Diffusion Models）憑藉其在影像生成、音訊合成、文本生成等多個任務上出色的表現，迅速成為研究焦點。隨著數據集規模和模型參數日益龐大，理解這類深度學習模型的泛化能力與過擬合行為變得至關重要。尤其是擴散模型，儘管高度過參數化，能生成多樣化且高品質的樣本，卻不常見嚴重的訓練數據「記憶」（memorization）現象。這種現象值得深入探討，因為它與神經網路的基本學習機制、泛化理論密切相關，甚至影響模型安全性及隱私保護。

然而，過往對擴散模型的泛化行為多偏重於架構設計和損失函數的理論分析，較少聚焦於訓練過程中動態演化的影響。Bonnaire 等人於 NeurIPS 2025 所發表的論文《Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training》正是針對此現象展開全面的實驗與理論探討，揭示訓練動態（training dynamics）中隱含的正則化機制如何有效地防止過度記憶資料，從而促進泛化。

核心方法與創新

本論文的核心在於通過精密地分析擴散模型訓練過程中的時間尺度，提出並驗證了「隱式動態正則化」（Implicit Dynamical Regularization）的概念。作者將訓練過程中模型性能的變化截取為兩個明確的時間點：

泛化起始時間 \(\tau_\mathrm{gen}\)：模型開始產生高品質、具備泛化能力的生成樣本的時間，對於訓練集大小 \(n\) 不敏感，基本維持不變。
記憶開始時間 \(\tau_\mathrm{mem}\)：模型開始對訓練數據產生明顯記憶效果，即過擬合的現象開始顯現，且此時間與訓練集大小 \(n\) 成線性關係。

透過深入的數值實驗及理論分析，論文指出有一段訓練時間窗口長度隨著 \(n\) 增大持續擴展，模型可在此窗口內有效泛化，而不會記憶訓練樣本。換言之，在數據量大的條件下，擴散模型有更充裕的訓練時間保持泛化，減少過擬合風險，這種現象被認為來自訓練動力學自然帶有的隱式正則化效果。只有訓練超過 \(\tau_\mathrm{mem}\) 才會出現明顯的記憶。

此外，作者建立了一個可解析的隨機特徵（Random Features）模型，利用高維極限分析支撐實驗結果，證明上述時間尺度特性和隱式動態正則化在數理上具備穩健理論基礎。該數學模型的引入是本論文另一重要創新，有助於理解擴散模型在高度過參數化情況下的行為模式。

主要實驗結果

在實驗層面，作者採用標準的 U-Net 架構，並在多樣化且具有代表性的真實及合成數據集上驗證理論假設。關鍵發現包括：

對固定模型和架構，當訓練集大小 \(n\) 增加時，泛化起始時間 \(\tau_\mathrm{gen}\) 基本不變，但記憶開始時間 \(\tau_\mathrm{mem}\) 線性增加。
模型在 \(\tau_\mathrm{gen}\) 之後即可生成質量穩定且未過度記憶訓練資料的樣本，直到 \(\tau_\mathrm{mem}\) 超過訓練時間才出現過擬合痕跡。
透過增加訓練數據量，可顯著擴展模型保持泛化的時間窗口。
透過隨機特徵模型的高維解析，理論結果與實測現象高度契合，這種配合實證與理論的雙重驗證，強化了結論的說服力。

這些結果說明了擴散模型訓練過程中，隱式的動態正則化機制充分發揮作用，有效防止了訓練數據的直接記憶，即使在模型容量遠大於數據樣本量的過度參數化情況下亦能保障泛化能力。

對 AI 領域的深遠影響

本論文的貢獻超越了對特定模型的理解，對生成模型與深度學習理論領域皆有重要啟示：

泛化理論層面：提出訓練動態中不同時間尺度的視角，豐富了過擬合與泛化的理論框架。隱式動態正則化提供了一種天然不依賴顯式正則項的泛化保證機制，對於類似過參數化模型的理解至關重要。
生成模型設計與訓練策略：論文啟發後續研究者可有意利用時間尺度窗口，調整訓練終止策略或採用動態監控方法，優化模型泛化與記憶的權衡，避免過長訓練導致過擬合，提升生成質量與可靠性。
隱私與安全性思考：模型不易直接記憶訓練數據，降低了個資洩露等安全隱憂，對實際應用中個人數據保護有促進作用，提供理論依據支持差分隱私等技術整合於擴散模型訓練。
理論與實證並重的研究範例：結合深度神經網路數值實驗與解析可解模型的理論分析，成為未來挖掘大型深度模型本質行為與訓練機制研究的一個範本。

總結而言，Bonnaire 等人所提出的「隱式動態正則化」概念為理解擴散模型泛化提供了嶄新視角，不僅深化了我們對生成模型訓練動態的認識，也為 AI 領域推動更穩健、高效及安全的深度生成模型奠定堅實理論基礎，具有相當的學術與實務價值。

論文資訊
📄 Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training
👥 Bonnaire, Urfin, Biroli, Mézard
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.17638

1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities

在自我監督強化學習（Self-Supervised Reinforcement Learning, SSRL）領域，如何設計具備更強表達能力與泛化能力的政策網路，一直是研究的核心課題。由於強化學習本身的樣本效率低以及策略學習難度高，研究者長期在模型架構和訓練方法上尋求突破。NeurIPS 2025 年最佳論文「1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities」即提出一種創新性的深層網路設計理念，突破以往深度限制，達成自我監督學習中前所未見的目標達成能力。

研究背景與動機

強化學習策略網路設計長期面臨的挑戰之一是深度與性能之間的權衡。過淺的網路限制了策略的表達空間，使其難以處理複雜且高維的策略任務；然而，過深網路則易造成梯度消失、訓練不穩定及過擬合問題。此外，過往強化學習大多偏向利用中淺層結構，例如以 ResNet-esque 網絡架構為主，層數通常在數百層以下。隨著自我監督學習的興起，如何利用大量未標註數據強化策略表示，理應可透過更深網路來挖掘更細緻的特徵，但技術瓶頸尚未突破。

本論文的出發點即為探索「在自監督強化學習中，當深度極端擴展至1000層時，策略網路是否可藉此獲得空前的目標達成能力？」。作者提出，適當的網路設計與訓練技巧，能使強化學習策略從傳統淺層跳脫，邁向超深層結構，進一步激發全新的潛能。

核心方法與創新

本研究的核心創新點在於提出一套可訓練千層深度策略網路的架構與訓練策略，主要包含以下幾大要素：

新型殘差網絡設計：根據傳統 ResNet 的殘差連接，作者設計了多層跨層跳躍和動態加權機制，確保訊息在1000層中不衰減且梯度穩定。其結構融合了密集連接和殘差連結的優點，大幅減少梯度消失問題，提升訓練效率。
自我監督目標形成：強化學習中策略的目標往往依賴外部回饋訊號，作者結合對比學習（contrastive learning）與行為辨識（behavioral cloning）策略，設計了一套可在無外部獎勵下自動形成目標映射的自我監督目標系統，簡化學習難度並提升探索品質。
分層策略表示學習：網絡不同層負責捕捉不同層級的策略抽象：淺層專注於局部動作模式，中層聚焦狀態──動作關係，高層則編碼長遠目標。此分層架構透過交叉注意力機制串接，促使信息互補與整合。
大規模分布式訓練技術：為配合千層網絡龐大參數量，作者採用先進的模型並行與混合精度訓練方案，搭配自適應梯度剪裁與正則化策略，有效控制計算成本與過擬合。

主要實驗結果

作者在多個環境中評估提出方法，包括連續控制基準的 MuJoCo、複雜目標導向機器人操控環境以及高維狀態空間的迷宮導航任務。主要發現有：

目標達成率顯著提升：在一般策略網絡普遍在70%-80%達成率徘徊的任務，1000層深度網路能穩定突破90%，在某些高難度非結構化環境表現甚至提升超過15%。
較其他深度擴展比較優勢明顯：較200層、500層網絡，1000層版本不僅學習更穩定，且在長時間依賴策略保持目標導向一致性上有明顯進步，顯示深層結構對長期依赖的策略編碼有利。
自我監督信號設計的關鍵性：消融實驗證明，對比學習與分層策略表示是提升目標達成能力不可或缺的因素。
泛化能力提升：千層結構不僅在訓練環境中表現出色，對於未見任務變種及動態目標切換，都展現更強的自適應能力和魯棒性。

對 AI 領域的深遠影響

本論文的成功突破，從根本上重新定義了強化學習中策略網絡「深度」的界限，對強化學習以及更廣泛的深度學習社群帶來多重衝擊：

推翻深度限制的迷思：過去多認為深度強化學習網路深度過高會帶來訓練困難和效率瓶頸，這份工作證明，在自我監督機制輔助下，極端深度反而成為提升策略能力的利器，為後續模型架構設計提供新的可能。
促進自我監督與強化學習融合：自我監督信號的設計與深層特徵學習相結合，大幅提高了策略的自主學習能力，將成為未來強化學習減少對人工設計獎勵函數依賴的重要方向。
跨領域架構設計啟示：本論文針對深度網絡的訊息流管理及多層次特徵融合，為計算機視覺、自然語言處理等其他深度學習應用場景提供了有價值的架構設計思路，尤其是超深層模型的訓練技巧可做借鑒。
推動智慧自主系統發展：更強大且具泛化能力的策略網絡，為未來高度自主的機器人、無人系統及智能決策支持系統奠定基礎，推動其安全性與效能達到更高水準。

綜述來說，Wang 等人於2025 NeurIPS發表的「1000 Layer Networks for Self-Supervised RL」不僅在技術層面實現了大深度政策網路的可訓練性，並且透過自我監督學習融合策略設計，顯著推升目標達成與泛化能力，其提出的理論和方法將長期影響強化學習及深度學習的研究方向與應用實踐，值得業界與學界深度關注與探討。

論文資訊
📄 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
👥 Wang, Javali, Bortkiewicz, Trzcinski, Eysenbach
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2503.14858

Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free

近年來，大型語言模型（Large Language Models, LLMs）透過自注意力機制（self-attention）推動自然語言理解和生成技術持續演進。其中，softmax注意力（softmax attention）結合Scaled Dot-Product Attention (SDPA) 作為核心運算單元，已成為Transformer架構成功的基石之一。然而，隨著模型規模與訓練資料的劇增，如何提升注意力機制的表達能力、訓練穩定性及推論效率，仍為AI研究領域的重要挑戰。

本文榮獲NeurIPS 2025年最佳論文獎，作者Qiu等人聚焦於「門控機制（gating）」對大型語言模型中softmax注意力的影響。門控（gate）機制起源於RNN中的LSTM、Highway Networks，近期也在state space models、線性注意力等架構中被廣泛採用，但先前文獻對於門控導入softmax注意力的系統性探討仍相當有限。作者首度深入研究各類採用門控的softmax注意力變種，並藉由大規模實驗揭示門控設計如何帶來關鍵效益。

研究背景與動機

傳統softmax注意力將查詢（query）和鍵（key）的點積做scaled normalization，允許模型捕捉字詞間的長距離相依關係。但本質上這是一組低階線性映射加softmax非線性轉換，缺乏更複雜的非線性調節機制。另一方面，門控透過類似「訊號開關」的方式調節信號流，帶來更多參數化彈性，在RNN及近年線性注意力中證明其穩定訓練及加強表達性的價值。

因此，本文動機是深入挖掘軟性門控機制如何在大規模Transformer架構的Softmax注意力模組中產生正面效應，尤其解析「非線性作用」與「稀疏性」對性能提升的貢獻，並解決長文上下文擴展時所遭遇的注意力機制瓶頸，例如「attention sink」問題。

核心方法與創新

本論文核心貢獻在於結合head-specific sigmoid gate到Scaled Dot-Product Attention之後作為後置調制，門控分數依賴於query，這意味著每個注意力頭的輸出會根據query內容被動態放大或抑制。具體而言，即在傳統計算流後加入一層門控函數：

Attention_out = Attention_out * sigmoid(W_gate * query + b_gate)

此設計透過sigmoid引入額外非線性，並鼓勵稀疏激活，讓注意力權重不再是單純softmax決定，而是在保留全模型資訊流的同時獲得更靈活的訊號控制。

研究團隊針對15B參數規模的Mixture-of-Experts（MoE）模型和1.7B密集參數模型，使用包含3.5兆字元級別的龐大語料，系統性比較超過30種門控軟注意力變體。結果清晰表明，頭部特定門控後置法在多個任務指標均有穩定和明顯提升。

更進一步，論文解析了門控扮演的兩大核心角色：

非線性引入於低秩映射：傳統softmax注意力近似線性映射後加softmax，門控能提出額外非線性層次，強化表達力，讓模型更能捕捉複雜語意關聯。
基於query的稀疏門控分數：利用gate進行稀疏化調節，抑制不重要的訊號通路，促進訊號專注於具代表性的上下文，提升學習效率與模型推理質量。

此外，該稀疏門控還成功緩解了著名的「attention sink」問題，即在長上下文推理時注意力權重容易集中在局部或無效部分，導致遠距依賴捕捉消失。透過動態門控調整，模型能更好地擴展長程記憶與理解能力。

主要實驗結果

透過嚴謹的大規模訓練與評估，作者報告了多項關鍵實驗發現：

門控softmax注意力結構相較於基線無門控模型，在自然語言理解、文本生成多任務指標均有顯著提升，並且模型訓練更為穩定。
對比不同門控位置實驗，頭部後置門控即在SDPA後添加sigmoid gate是效果最優，且支持更高的學習率，加速收斂。
門控機制提升模型規模擴展能力，15B MoE模型加門控後在更龐大語料上有更好的橫向性能擴展，展現良好的可伸縮性。
長文本推理任務中，由門控帶來的稀疏機制顯著提高了模型對長距離上下文的捕捉能力，有效減少注意力集聚在短距離的「sink」現象。
論文同時公開了相關程式碼及多種模型權重，利於學術界及產業界後續使用與擴展研究。

對 AI 領域的深遠影響

本論文的貢獻不僅是為Transformer架構注入一種簡潔有效的門控設計，還從底層理論視角和大規模實驗維度，系統性地揭示了非線性與稀疏性在軟性注意力機制中的重要性。核心發現對多個層面產生深遠啟示：

模型結構創新：傳統softmax注意力被視為固定機制，作者展示了其內部尚有巨大可優化空間，門控設計提供了一條簡潔可行的路徑，啟發更多研究者嘗試其它非線性調制。
訓練與推理的穩定性提升：在超大規模模型訓練常見梯度爆炸、不穩定的情形下，引入門控改善了模型魯棒性，並可容忍更激進的學習率，節省訓練成本與時間。
長文上下文處理突破：解決「attention sink」問題是長文本建模的重要挑戰，本文稀疏門控機制的成功，我們預期將加速長距離依賴學習技術的廣泛應用，推動多模態、知識問答及文檔理解等領域發展。
工程實用價值：門控模組設計簡單計算量低，易於集成在現有大型語言模型架構，有助產業快速採用並改進產品性能。

總體而言，Qiu等人的工作以兼顧理論深度與實驗規模的方式，為大型語言模型中的注意力機制優化提供了新範式。此篇Best Paper不單是技術突破，更是透過精細設計與嚴密驗證，展示了如何將傳統機制逐步調校至極致的典範，將引領後續大型模型架構創新與性能攀升的新浪潮。

論文資訊
📄 Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
👥 Qiu, Wang, Zheng, Huang, Wen, Yang, Men, Yu, Huang, Huang, Liu, Zhou, Lin
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.06708

Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)

隨著大型語言模型（Language Models, LMs）在自然語言生成領域的飛速發展，不少應用展現了令人驚豔的語言理解與創作能力。然而，一個日益嚴重且值得關注的問題是：語言模型生成內容的多樣性與創新性受限，長期下來有可能導致「思維同質化」(Artificial Hivemind) 現象，使人類思維在無形中被機器生成的鋪陳與標準化輸出所影響與侷限。

本論文《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》由江洋等研究團隊發表於 NeurIPS 2025 並榮獲最佳論文獎，突破性地提出了以大尺度真實用戶開放式問題為基礎的系統性分析架構，深入剖析語言模型在面對開放式、多解問題時生成結果的同質化現象。

研究背景與動機

現有多數對語言模型生成多樣性的研究，往往侷限於特定狹義任務，例如隨機數字產生、特定類型命名或多次從同一模型取樣的比較。這種方法無法完整揭露模型在面對真實世界開放任務時，如何展現生成多樣性的全貌。更重要的是，過去缺乏大規模、多元且標註精確的資料集可供分析，更缺乏系統化的「開放式提示」(open-ended prompts) 分類標準，使得研究同質化問題無法深入。

「人工集體思維」(Artificial Hivemind) 指的是不同大型語言模型在開放式文本生成中，無論內部模式還是跨模型之間，都展現高度類似的內容趨同，意味著即使背後架構、訓練資料或參數量有所區別，模型生成的結果因共享數據分布與訓練目標，逐漸喪失多樣性與創新性。長遠來看，這種現象不僅限制了 AI 本身的潛力與應用範圍，甚至將對人類文化、知識分享與思維方式帶來深遠的負面影響。

核心方法與創新

為了開啟這個全新研究領域，作者團隊製作了名為 Infinity-Chat 的大型資料集，匯聚了 26,000 個真實世界的開放式用戶查詢，這些查詢涵蓋了多樣主題與場景，並且每個問題都允許多元合理的回答而非唯一正解。

除了資料蒐集，團隊設計了首個完整的 開放式提示分類法，將用戶問題依據意圖與內容分為六大類，包含「頭腦風暴 (Brainstorm & Ideation)」、「知識探索」、「情感表達」等，進一步細分為 17 個子類別。這套分類法協助更細緻地理解不同類型提示的生成挑戰與多樣性表現。

在評估層面，Infinity-Chat 擁有超過 31,000 筆人類標註，採用絕對評分和成對偏好判斷，且每個例子由 25 名獨立評審打分，使研究人員有能夠探討整體與個體偏好的堅實基礎。

基於此資料和標註，論文設計了一系列大規模實驗，用以評估內部模式重複（intra-model repetition）與跨模型同質化（inter-model homogeneity）現象。實驗結果顯示：

內部重複性：當透過同一模型生成多次回應，模型往往傾向生成相似甚至幾乎重複的內容，表明生成多樣性不足。
跨模型同質化：不同架構與訓練策略的語言模型，面對同一開放式問題，生成的回答卻驚人地相似，彷彿形成了「人工集體智慧」般的共識，削弱了多元思維展現。

同時，研究也發現，語言模型、用於生成評分的 reward 模型以及自動 LM 評判器，在面對評審者表現出明顯差異化或個人化偏好的輸出時，與人類真實評分的校準度顯著下降，即使整體質量大致相當，這表示目前自動評價系統尚缺乏捕捉細緻多樣偏好的能力。

主要實驗結果與洞見

透過 Infinity-Chat 資料集與標註的結合，作者團隊系統化地揭示了大型語言模型在開放式任務下產生的模式崩潰（mode collapse）問題。這種現象不僅限於同模型多次生成，也體現在跨模型間的內容驚人同質，挑戰了以往開發多樣化生成策略所未觸及的層面。

此外，研究中揭示的評分校準問題提醒了社群：即使人工標註集擁有豐富多元的人類偏好，現有的自動評分機制仍難以完全替代人類判斷，尤其在評估創意與多樣性的任務中更為明顯。

總結來說，這篇論文給出的核心洞見包括：

大型語言模型在處理開放式、多解問題時內部與跨模型均呈現高度重複與同質化，形成「人工集體智慧」效果，有潛在風險限制創造力。
需要建立多元且標準化的開放式任務分類及評價體系，Infinity-Chat 提供了首個規模龐大、內容豐富且經嚴格多重人類評註的資料集。
現有的自動評分模型在捕捉人類個別化偏好方面存在明顯不足，未來須針對評分機制進行優化以輔助創意生成的公平評價。

對 AI 領域的深遠影響

這篇論文不僅深化了我們對大型語言模型在開放式任務下行為的理解，還對未來 AI 發展的安全性、倫理以及人機協同思維的多元性維護，帶來深刻影響。具體而言：

理論貢獻：提出了「人工集體智慧」這一新概念，系統化解釋了語言模型生成同質化的成因與表現，為後續針對多樣性維持及抗模式崩潰的方法研究提供理論基礎。
資源創新：Infinity-Chat 作為首個大規模真實用戶開放式查詢資料集，結合細緻標註和分類體系，將成為未來語言生成多樣性研究的基石資源，推動該領域標準化與系統化發展。
安全與倫理啟示：長遠來看，語言模型的同質化可能影響人類思維與文化的多樣性，研究呼籲業界與學術界共同關注「思維安全」（cognitive safety），透過設計更具多樣性和自主性的生成系統，減少 AI 潛在的單一化風險。
評價機制革命：強調傳統自動評價系統無法有效捕捉多元人類偏好，未來需要開發更具感知人類差異化偏好的評價框架，促進生成模型更加貼近真實創意需求。

綜合以上，江洋等人的《Artificial Hivemind》為我們揭示了當前大型語言模型在生成多樣性領域面臨的根本挑戰，並透過創新的資料集與嚴謹分析，為未來設計能有效避免生成內容「同質化」的語言模型指明了方向，促進 AI 技術與人類思維共存且多元發展。這篇獲得 NeurIPS 最佳論文的作品，在方法論、資源與倫理視角上都有極具啟發性的突破，對AI研究者及工程師均具備極高參考價值。

論文資訊
📄 Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
👥 Jiang, Chai, Li, Liu, Fok, Dziri, Tsvetkov, Sap, Choi
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2510.22954

The Value of Prediction in Identifying the Worst-Off

在當代人工智慧領域中，公平性與資源分配問題日益受到關注，特別是在社會經濟弱勢群體或表現最差個體（worst-off）的識別上。《The Value of Prediction in Identifying the Worst-Off》一文，由Fischer Abaigar、Kern、Perdomo於ICML 2025上發表並獲得Outstanding Paper，針對如何有效辨識「最不利」個體提出了全新視角與方法，為AI公平性研究開拓重要里程碑。

研究背景與動機

隨著AI系統在資源分配、醫療、教育等場域的廣泛應用，如何透過數據與模型準確辨識處於不利地位的群體，從而實施精確支援成為一大挑戰。傳統方法多倚賴靜態的指標或直接評估結果（如現有表現、收益等）來篩選資源補助對象，但易忽略潛在風險和未來狀況變化，其識別之準確性和公平性不足。

研究團隊察覺，「預測能力」（prediction）在辨識「worst-off」中扮演關鍵角色。準確的預測不僅意味著能提前發現未來惡化的個體，亦能避免誤判而對非真正最差者過度補助。同時，如何平衡預測的不確定性與資源有限性的矛盾，也是實務應用中必須突破的難題。因此，本論文旨在系統性地分析並量化「預測在識別worst-off角色」的價值，提出具理論基礎且實務可行的解決方案。

核心方法與創新

本研究基於預測理論和決策理論，創新性地將預測模型嵌入worst-off的識別體系中，設計了一套數學架構來解析「預測驅動識別」的有效性與風險。核心可分為以下三個面向：

預測分數整合策略：傳統識別常直接使用觀測結果作為決策依據，本論文提出利用預測模型產生的預測分數作為篩選指標，這些分數反映了潛在風險與未來惡化概率。藉由引入預測信心與不確定度評估，避免盲目依賴單一預測結果，提升識別的穩健性。
辨識效率與公平性的理論分析：作者從統計及博弈論角度，建立了形式化理論模型，證明在某些條件下，預測信息能顯著增加最劣勢個體的識別準確率，並且能減小資源浪費。此理論同時揭示預測錯誤對識別所致負面影響的界限，為設計實際系統提供理論指導。
多任務與動態調整機制：考量實務中worst-off狀態往往非靜態且牽涉多層面，本研究納入多任務學習及時序動態調整手段，使系統能隨著新資訊持續更新預測模型與識別策略，從而保持長期識別效能與公平性。

主要實驗結果

為驗證理論與方法的實用性，作者選取多個公開且具代表性的數據集，包括醫療照護預測（如慢性病患者風險）、教育成就分析（如學習表現最差學生）以及社會經濟資料。

較基線方法提升識別率：實驗中，採用預測分數整合的策略相比傳統直接指標方法，在召回率（Recall）與F1分數上均提升5%到15%，顯著增加了對最劣勢個體的捕捉率。
資源效益最大化：在資源有限的模擬場景中，透過預測調整分配策略，系統在相同資源投入下，可降低誤補助率20%以上，達到更高的資源運用效率。
不確定性處理效果良好：引入預測不確定度的評估後，模型在多次隨機變異測試中表現更為穩健，避免了因極端錯誤預測導致的嚴重誤判。
動態更新提升長期效果：實施多時間點動態調整策略的模型，能隨著環境及個體狀態變化持續優化識別結果，有效減緩因資料漂移帶來的性能衰退。

對 AI 領域的深遠影響

這篇論文在AI公平性與資源分配研究上具有多方面的促進作用：

理念突破：首次系統展示了預測不僅是「預知未來」的工具，更是提升弱勢識別準確性的關鍵價值因子，令後續研究更重視預測模型與決策系統的深度整合。
方法論革新：其結合理論與實證的雙軌設計，為公平性分析帶來量化的數學架構，大幅增強學術與產業界在設計公平決策系統時的理論依據和技術基礎。
實務導向：透過多領域的實驗驗證，該方法具高度泛化能力，適用於醫療、教育、社會服務等關鍵應用，促進AI系統更有效幫助真正需要者，落實以數據驅動的公平資源分配。
引發跨領域討論：對於預測模型的不確定性和社會影響，該研究促使社會科學、倫理學與技術開發者展開更多深度交流，有助於形成更全面的AI治理框架。

總結來說，Fischer Abaigar等人的《The Value of Prediction in Identifying the Worst-Off》不僅解決了辨識社會最不利群體中現有方法的不足，也為未來AI公平決策提供了可行且科學的解決路徑。其在理論與實務的雙重貢獻，及對多場景適用性的展現，使其成為ICML 2025年度最傑出論文的當之無愧代表，值得AI研究者與工程師深入鑽研與應用。

論文資訊
📄 The Value of Prediction in Identifying the Worst-Off
👥 Fischer Abaigar, Kern, Perdomo
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2501.19334

Score Matching with Missing Data

在機器學習與統計推斷領域中，分布估計（distribution estimation）是核心課題之一，對於理解資料的潛在結構與機率特性有重要意義。尤其是高維資料或複雜模型中，傳統的最大似然估計（MLE）往往因計算困難而受到限制。Score Matching（SM）技術由Hyvärinen於2005年提出，作為一種替代最大似然方法的有效工具，無需顯式計算歸一化常數即可進行未歸一化模型（unnormalized model）的參數估計。此技術在能量基模型（Energy-based Models）、統計物理、圖模型的訓練中扮演重要角色。然而，Score Matching的典型假設是資料完整可得，一旦遇到「缺失資料」（Missing Data），如部分欄位缺失、感測器故障或隱私保護的遮蔽，傳統方法往往失效，或需酷似(approximate)複雜的重建機制，造成估計效能退化。

ICML 2025榮獲Outstanding Paper的論文《Score Matching with Missing Data》由Givens、Liu與Reeve提出，精準切入這一分布估計與缺失資料結合的前沿問題。該研究開創性地提出一套理論框架與實作方法，使得Score Matching能自然且有效地延伸到缺失資料環境下，既保有原有SM模型的無需歸一化常數優勢，又兼顧缺失機制的考量，並且理論上嚴謹，於實務層面亦展現卓越效果。

一、研究背景與動機

資料缺失是現代數據分析無法回避的現象，尤其在醫療、金融、感測網路、自然語言處理等領域普遍存在。對於模型訓練而言，缺失資料會使得參數估計困難加劇，既有方法多半依賴插補（imputation）、完全病例分析（complete case analysis）或EM算法等，這些方法通常內含多重假設，或者計算成本高昂。Score Matching在未歸一化模型上的應用，由於不須計算歸一化常數，理論上更適合高維複雜模型，但原本缺少處理缺失資料的途徑。因此本論文正面挑戰傳統框架限制，破解缺失資料下的Score Matching訓練瓶頸，達成理論與實務兼顧的目標。

二、核心方法與創新

本論文的核心技術貢獻可歸納為以下三點：

理論建構：作者針對缺失資料情況，正式推導了缺失資料條件下的Score Matching損失函數。透過建構「部分觀測條件的score function」（即對缺失區塊不完全觀測的逆向梯度）以及隱含變量模型中的分布度量，提出一種基於“Marginalized Score Matching”（邊際化得分匹配）的方法。此方法不需要對缺失資料做直接重建，而是將缺失資料視為隱藏變量，而推導出一個可以被樣本加權計算的替代損失函數。
估計策略：在實作層面，利用蒙地卡羅取樣（Monte Carlo Sampling）與變分近似（Variational Approximation）相結合，給出一種高效的數值優化方案。此策略允許對部分缺失高維資料快速收斂，且避免了因缺失資料進行複雜補全的運算瓶頸，兼顧計算效率與估計精度。另外，該方法保留了score matching核心優點，即無需明確計算難以估計的歸一化常數。
泛化框架：此外，論文提出的框架具高度泛化能力，能涵蓋常見的缺失資料機制，包括MCAR（Missing Completely at Random）、MAR（Missing at Random）與MNAR（Missing Not at Random）。特別針對MNAR情境，作者透過參數化模型對缺失機制做建模，進一步提升估計的穩健性與現實適用性。

三、主要實驗結果

為驗證方法有效性，作者進行大量合成資料與真實資料的廣泛實驗：

在多維高斯分布、混合高斯模型與非線性能量基模型(如跳動分布)等合成資料上，方法能穩健估計模型參數，即使有高達40%-50%的缺失率，表現顯著優於傳統插補+score matching或EM-Score Matching組合。
在醫療電子病歷（EHR）資料中探索疾病分布建模，該模型能同時處理複雜缺失情形下的資料估計，準確度與資料重建品質提升，並對病患風險分層預測等下游任務帶來正面效果。
實驗還深入比較不同缺失機制下的估計誤差，結果顯示本方法對MCAR與MAR表現優異，對MNAR情況亦有良好調適能力，反映其框架的彈性與魯棒性。

四、對 AI 領域的深遠影響

本篇獲獎論文的價值不僅在於其理論突破，更在於其方法對AI實務及研究領域造成的深遠影響：

推動未歸一化模型廣泛應用：過去Score Matching受限於資料完整性，無法順應真實世界缺失資料常態。本研究架構打破此限制，促使未歸一化模型能在醫療、金融、工控等領域缺失環境中安心運用。
豐富缺失資料統計建模理論：該論文提供缺失資料理論下score function的明確定義與估計方法，填補過往研究對非歸一化模型缺失數據處理不足的空白，並為缺失資料機制的建模與推斷提供新思路。
提升隱含變量模型估計效率：隱含變量和部分可觀測變數情況廣泛出現於自然語言、圖形生成及結構化預測等任務，該文章方法對這類模型估計的計算成本與精度有實質貢獻。
促進跨領域資料不完整挑戰研究：方法對於臨床醫療數據、系統監控資料及隱私限制造成的部分缺失均有普適性，推動跨域AI系統能面對不完美資料而保持穩健與精準。

綜合而言，「Score Matching with Missing Data」不僅將Score Matching理論提升至新的高度，也提供了缺失資料處理的強大工具，為未來無須完整樣本的機器學習方法鋪下穩固基礎。相信隨著此方法的推廣，將加速能量模型與隱含結構模型在真實世界高維不完整資料中的應用，促進AI系統更貼近現實問題的解決。

論文資訊
📄 Score Matching with Missing Data
👥 Givens, Liu, Reeve
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2506.00557