Superposition Yields Robust Neural Scaling 深度簡介

在當前人工智慧的熱潮中，大型語言模型（Large Language Models, LLMs）已成為自然語言處理與生成任務的中流砥柱。這些模型的成功，部分來自一個被經驗驗證但理論尚未完全明晰的現象：模型規模越大，損失函數（loss）越低，且損失與模型大小呈現出一種冪律（power law）關係，稱為「神經刻度法則（neural scaling laws）」。然而，這個刻度法則的內在成因一直是該領域的一大謎團。NeurIPS 2025 最佳論文亞軍《Superposition Yields Robust Neural Scaling》由Liu、Liu與Gore提出了一個令人耳目一新的視角，將「特徵的重疊表示（representation superposition）」視為神經刻度法則的關鍵驅動因子。本文將深入解析該論文的動機、核心方法、實驗驗證與其對 AI 領域的深遠影響。

研究背景與動機

過去數年，規模化深度學習模型的效果顯著提升，推動業界與學術界持續擴增模型大小。然而，雖然經驗上模型越大、數據越多、計算資源越豐富，模型表現就會成指數級改善，刻度法則本身背後的數學機制卻尚未被完全理解。既有理論解釋多聚焦於模型架構、優化動力學、或是資料統計性質，但都存在解釋力不足或適用範圍侷限的問題。

該篇論文提出，LLMs 在高維向量空間中往往必須以有限維度去編碼超過維度數的特徵，這就產生「superposition」現象，即多個特徵以「重疊」方式共用相同的參數向量空間。這種重疊導致的表徵幾何結構，可能是影響刻度法則表現的關鍵因素。論文的主要動機即在於：如何透過操控這種 superposition 的強度，系統性地探究它如何影響損失函數及其與模型尺寸的關係，從而揭示神經刻度法則的成因。

核心方法與創新

論文採用了基於 Anthropic 提出的一個玩具模型架構，該模型可簡化地模擬神經網路表徵空間中的特徵表示狀況。作者的創新點在於利用「權重衰減(weight decay)」這一正則化技巧來調節 superposition 強度。具體來說，權重衰減會約束模型參數的范數，從而影響特徵之間重疊的程度，讓作者得以在同一模型框架下，控制從「弱重疊」到「強重疊」的表示模式。

透過理論分析與數值實驗，作者首先假設若數據特徵的出現頻率本身服從冪律分佈（power-law），那麼在弱 superposition 條件下，模型的損失函數的冪律降低是可期待的。此處冪律頻率分佈代表少數特徵非常普遍，而多數特徵則較罕見。然而，當 superposition 變得強烈時，損失函數的縮減不再受限於特徵頻率的分佈形式，而是普遍地呈現與模型尺寸的「反比」關係。這種強 superposition 狀態下的損失縮減，源於特徵向量表徵的幾何重疊，其結果強化了神經刻度法則的普適性和魯棒性。

此外，作者還驗證了市面上公開的 LLM 皆處於強 superposition 區域，且損失函數確實與模型維度成反比，與理論模型預測相吻合。更進一步地，該論文將其分析結果與流行的 Chinchilla scaling laws 進行比對，發現後者的尺度行為亦可由 superposition 理論框架合理解釋，證明此發現具有廣泛適用性與解釋力。

主要實驗結果

論文中，作者透過一系列精心設計的實驗，量化了 superposition 強度與損失函數刻度行為的關係。實驗主要分為三個層面：理論模擬、toy model 測試以及公開 LLM 檢驗。

• 理論模擬：作者數值模擬表明，只有當特徵頻率本身為冪律分佈時，弱 superposition 才會出現類似冪律的損失曲線；而多種非冪律頻率分佈則無法實現這一點。
• 玩具模型測試：通過調整權重衰減參數，清楚呈現了損失對模型尺寸的縮放從冪律轉為反比的轉變，這驗證了重疊強度對刻度法則的決定性影響。
• 公開 LLM 驗證：作者對公開模型如 GPT 變體進行分析，發現這些模型特徵向量高度重疊，損失與維度呈現明顯的反比關係，完全契合強 superposition 預測。同時對 Chinchilla 法則的定量對比展示了該理論能合理解釋其中的多數觀察現象。

這樣多層次、多角度的實證，使得該理論不只停留在推測階段，而是切實連結了理論與當前前沿模型。

對 AI 領域的深遠影響

本論文的最大貢獻在於從表示幾何角度，首次系統性地將「特徵重疊表示」納入神經刻度法則的解釋框架。這不僅揭示了為何大型模型能持續獲得質的提升，也為未來優化模型刻度提供了新方向。

首先，這項研究說明：超大規模模型損失降低的本質，是來自於模型參數在高維空間中高效且「重疊」地表徵超過維度數量的特徵。從實務角度看，這意味著未來設計模型與正則化策略時，應更注重控制 superposition 強度以達到更佳的泛化能力和效率。

其次，該理論為刻度定律的破壞點（breakdown point）與改進途徑提供了指標。過去我們多半將刻度法則視為無條件的擴大模型規模帶來回報，但本論文揭示了若超疊加現象變弱或特徵頻率分佈改變，刻度法則可能崩解。這對研究如何突破現有性能瓶頸十分關鍵。

最後，這一發現促進了跨領域交流，將神經網路的性能成長與信息理論、幾何學、以及統計頻率模型串聯起來，為理論神經科學與工程應用間架起新的橋梁。透過深入理解表示重疊的數學本質，我們未來或能更精準地預測及控制神經網路的學習動態與機制。

總結而言，Liu 等人的《Superposition Yields Robust Neural Scaling》不僅深化了我們對神經刻度定律起源的理論認識，更為未來大型模型的設計與訓練提供可行且具啟發性的策略。這篇論文極具前瞻性，無疑會成為接下來幾年內，深度學習理論發展的重要里程碑。

---

論文資訊
📄 Superposition Yields Robust Neural Scaling
👥 Liu, Liu, Gore
🏆 NeurIPS 2025 · Best Paper Runner-Up
🔗 arxiv.org/abs/2505.10465

Optimal Mistake Bounds for Transductive Online Learning

在人工智慧與機器學習領域中，線上學習（online learning）是一項重要的理論與應用研究方向。其核心目標是在資料逐步提供的過程中，不斷調整模型以降低錯誤率。本文〈Optimal Mistake Bounds for Transductive Online Learning〉由 Chase、Hanneke、Moran 及 Shafer 等人發表於 NeurIPS 2025，並榮獲最佳論文亞軍殊榮，成功解決了一個持續超過三十年的未解決難題：多標籤（unlabeled）資料在轉導式（transductive）線上學習中的力量到底有多大？本文精確量化了轉導式線上學習與標準線上學習之間的錯誤界限差距，成為該領域理論分析的重要里程碑。

研究背景與動機

傳統的線上學習理論中，錯誤界限（mistake bound）是衡量模型學習效率與效能的關鍵指標。1987年，Littlestone 定義並引入了 Littlestone 維度（$d$）作為一種衡量概念類別（concept class）複雜度的指標，並證明此維度精准刻畫了標準線上學習的最佳錯誤界限。

然而，隨著研究深入，理論社群開始探討針對「轉導學習」的錯誤界限條件。所謂「轉導學習」指的是，學習者在預測之前，已事先知道即將面對的一整批輸入資料，但這些資料尚未標籤。這種設置與標準線上學習有別，它實際上反映出許多現實場景，例如提前掌握所有測試樣本的結構資訊，但無法直接取得標籤。問題核心是：提前知道輸入序列（unlabeled data）能否顯著提升學習的效率，且這種提升究竟有多大？過去二三十年已有 Ben-David、Kushilevitz、Mansour 等學者嘗試建立轉導式錯誤界限的下界與上界，但取得的結果僅為指數級非常弱的界限，如 $\Omega(\log\log d)$ 至 $\Omega(\log d)$，與標準設定下的 $d$ 呈現巨大差距。

核心方法與創新

本論文的最大突破在於提出了全新的理論分析框架與概念構造，首次將轉導式錯誤界限下的下界提高到 $\Omega(\sqrt{d})$，這是對過去數十年來緩慢成長的分析結果的一次根本性躍升。更重要的是，他們證明這個下界是「緊致的」（tight）：不僅存在一類 Littlestone 維度為 $d$ 的概念類別，其轉導式錯誤界限可達到 $O(\sqrt{d})$。因此，該論文成功建立了這兩者之間的「二次根」關係，意即轉導式學習在理論上相較於標準線上學習，錯誤數量減少了「平方根」等級。

具體來說，論文的方法包含以下創新：

• 引入新的組合結構與難學習的概念類別設計，細緻描述在轉導式情境中，使被動取得的未標記輸入所創造的學習優勢。
• 優化策略設計並利用先見之明（look-ahead）的未標記資料，提出精準的學習演算法，使錯誤界線逼近理論下限。
• 理論證明上的創新結構，改善過去 Ben-David 等人的上界結果，將上界從先前約 $(2/3)d$ 的規模壓縮至 $O(\sqrt{d})$，將理論上下界合攏，完成錯誤界限的部分封閉。

在技術路線上，作者透過結合理論機器學習的組合方法與線上演算法設計，特別聚焦 Littlestone 維度的轉導版本解構，巧妙利用未標記資料對決策邊界的形塑能力，提供錯誤發生的最小界限。

主要實驗結果

本論文重點在理論證明與界限探究，而非傳統意義上的實徵實驗；然而，他們同時建構了一類具體的概念類別範例，說明理論界限的可達性。這類構造不僅符合各類避免過度理想化的條件，也具代表性，成為未來相關研究的基準案例。

此外，論文給出了從標準線上學習切換到轉導式設定後，錯誤預測數明顯下降的定量分析，具體體現「先見未標記資料」所帶來學習效率的爆發性提升，為未來設計更有效率的線上學習演算法提供了理論依據。

對 AI 領域的深遠影響

此研究的結果顛覆了過去對轉導式線上學習認知上的限制，明確刻畫了額外未標記資料的理論價值。相較於常見的 PAC 學習框架，該框架中轉導與標準學習的樣本複雜度表現差異不大，轉導優勢不明顯；然而在線上學習這種動態預測環境，轉導設定下可謂是「拋出驚喜的寶盒」，有著根本性的錯誤界限優越性。

在實踐層面，這說明在許多領域若能提前獲知無標籤的輸入資料序列，例如自然語言處理對話系統的後續輸入、即時視覺辨識系統中的環境情境序列，都可望在學習策略設計上取得極為有效率的錯誤抑制效果，極大提升模型的實際表現與穩定性。

從理論視角來看，本論文的精確錯誤界限打造了後續研究的一個堅實基礎，不僅深化我們對 Littlestone 維度的理解，還讓未來能往更細緻的概念類別結構、錯誤容忍機制以及半監督學習等主題延伸研究。此外，此成果也啟發了對線上學習策略整合未標記資料的新思路，對於強化 AI 系統的泛化能力與對抗能力具指標性意義。

總結來說，〈Optimal Mistake Bounds for Transductive Online Learning〉開創性地證明了在轉導線上學習環境中，透過先知識取得未標記輸入的方式，能在錯誤數量上達成接近平方根級別的極大提升，改寫了學界對於 unlabeled data 在動態學習設定下的價值評估，也為理論與應用 AI 研究鋪路新的里程碑。

---

論文資訊
📄 Optimal Mistake Bounds for Transductive Online Learning
👥 Chase, Hanneke, Moran, Shafer
🏆 NeurIPS 2025 · Best Paper Runner-Up
🔗 arxiv.org/abs/2512.12567

Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

近年來，隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域持續突破，模型的推理能力成為研究者熱切探討的核心議題。其中，「強化學習與可驗證獎勵」（Reinforcement Learning with Verifiable Rewards, RLVR）手法因其在數學推理與程式碼生成任務上的顯著提升，而引起廣大關注。學界普遍認為，透過類似傳統強化學習中「探索—利用」的機制，RLVR能使LLM不斷自我強化，從基底模型（base model）擴增新的推理能力。然而，來自Yue等人於 NeurIPS 2025發表的《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》一文，對這樣的常態認知提出了嚴謹而深刻的質疑。

研究背景與動機

隨著LLM規模擴大，模型在語言生成、推理與複雜任務上表現卓越，但模型的推理能力主體仍受限於基底訓練資料與架構。傳統的強化學習（RL）透過獎勵回饋，讓智能體在環境交互中學習達成目標的策略。將這思路應用於LLM中，即透過設計可驗證的獎勵機制引導模型生成更優推理解答，進而期望它展現出超越基底模型的推理模式和能力。過去一些研究因RLVR在特定領域（如數學題解答、程式碼修正）展現爆發式提升，社群普遍樂觀地相信RLVR能啟發LLM具備嶄新推理手法。

不過，這篇論文洞察到，目前大多數RLVR研究仍停留於驗證提升準確率，而未系統探討提升推理能力的本質為何？此外，模型在多重解答中表現是否能超出基底模型的極限，亦是鮮有論述。為此，本論文以嚴謹科學方法切入，針對多個LLM家族、不同RL演算法，並涵蓋數學、程式碼與視覺推理等多類任務，使用大k值的pass@k作為評估指標，全面剖析RLVR訓練後模型的推理極限。

核心方法與創新

本研究的核心方法涵蓋幾大創新點：

• 系統化跨模型、多演算法評測：作者挑選六種主流RLVR演算法，包括基於策略梯度、Q-learning等不同機制，同時涵蓋多個LLM架構，藉此拆解RLVR對推理能力增強的普適性與侷限。
• 廣泛多任務、多指標驗證：任務跨足數學推理（如算術推導）、程式碼編寫與修正、以及視覺相關推理，比以往只聚焦單一任務更全面。評估指標以pass@k為主，但特別強調大k值（例如k=100或更高），用以觀察生成多樣解的覆蓋率與能力邊界。
• 深入覆蓋率與困惑度分析：作者不僅評估標準的正確率，更從生成多樣性與模型困惑度（perplexity）層面分析，探索模型是否真的透過RLVR形成新的“思考路徑”，或只是重新排列基底模型已有的知識。
• 比較蒸餾（Distillation）方法的效果：除RLVR外，該研究特別比較蒸餾技術對推理能力的影響，提供一個基準看RLVR是否能「真正」擴展模型的能力邊界。

主要實驗結果

實驗結果同時令人驚訝又具啟發性：

1. 短期優勢與長期極限：在小k值的pass@k（例如只取1次生成），RLVR訓練後的模型確實表現優於基底模型，表現如同文章標題所述使推理能力「看似」增強。但隨著k值增大，基底模型在覆蓋率與多樣解答廣度上反而超過RLVR模型，這意味著RLVR並未挖掘出超越基底模型的「新推理模式」或「新策略」。
2. 推理能力中樞源自基底模型：透過困惑度和覆蓋度分析，研究證明RLVR模型實際運用的是基底模型中內建的「潛能」，RL過程等於是聚焦於更有效的利用或篩選，但未注入根本的新演繹能力。
3. 六種RLVR演算法表現雷同且仍未最佳：實驗中各演算法的推理能力提升幅度相近，且均未能逼近基底模型能力的理論極限，顯示現行RLVR技術尚有明顯優化空間。
4. 蒸餾技術能擴展推理能力：作者發現，透過老師模型蒸餾給學生模型，能將教師的「新推理模式」有效帶入學生模型，使其推理能力得以突破基底模型範圍。有別於RLVR，蒸餾可發掘並傳遞更本質的認知策略。

對 AI 領域的深遠影響

本論文提供了一個重要且務實的洞見：當前RLVR方法雖在多項任務上提升LLM表面推理表現，但這種提升大多是基底模型能力的優化，而非創新推理能力的誕生。透過嚴謹實驗與精確分析，研究動搖了目前業界對 RL 促進LLM推理力質變的普遍期待。

這不僅影響未來RL在語言模型調適的策略設計，更提出了新挑戰：如何設計更高效、持續且能與環境進行多回合交互的RL範式，才能真正激發LLM新型態的認知模式與推理能力？同時，研究揭示蒸餾等技術依然是有效開拓模型推理能力的重要工具，暗示跨模型知識傳遞或許是實務中提升推理能力的關鍵路徑之一。

對於正在深入開發高效、靈活推理LLM的科研與工程團隊，本論文具備以下啟示：

• 不宜過度依賴現有RLVR方法提升模型推理能力，應理解其提升多為優化基底表現而非能力邊界突破。
• 必須設計更具探索性、長期交互且多階調控的強化學習架構，嘗試解放模型隱藏潛能，並檢驗實際能否形成全新的推理思維。
• 可透過模型蒸餾等多元訓練策略，相互借重強化學習與蒸餾技術的優勢，協同提升模型質與量的推理力。

總結來說，這篇榮獲NeurIPS 2025 Best Paper Runner-Up的論文，以嚴謹批判的研究態度提醒了整個AI研究社群：推理能力的提升不應僅止於表層指標的堆疊，更需打破基底模型設限，真正打造具有「原生認知創新」的大型語言模型。未來RL與LLM的結合仍有無限可能，唯有深化算法本質及訓練機制，方能突破現有瓶頸，引領人工智慧邁向更智慧、更符合人類思維的全新里程碑。

---

論文資訊
📄 Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
👥 Yue, Chen, Lu, Zhao, Wang, Song, Huang
🏆 NeurIPS 2025 · Best Paper Runner-Up
🔗 arxiv.org/abs/2504.13837

Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training

在過去幾年，擴散模型（Diffusion Models）在生成任務中展現了驚人的成果，成為當前生成模型領域的研究熱點。這類模型透過模擬數據逐步加入噪聲的過程，並反向還原噪聲，成功生成高質量且多樣化的數據樣本。然而，隨著訓練時間與數據容量的增加，一般深度學習模型常會面臨過度擬合（memorization）的問題，也就是模型可能僅僅「背誦」訓練資料而缺乏真正的泛化能力。此現象在生成模型中同樣關鍵，因為過擬合將導致生成樣本缺乏真實的多樣性，從而影響模型的實用性與可靠性。

本論文由 Bonnaire 等人發表於 NeurIPS 2025，榮獲最佳論文獎，主要針對擴散模型訓練過程中為何不易出現記憶行為提出深刻洞見。作者通過結合大規模數值實驗及嚴謹理論分析，揭示了一種稱為「隱式動態正則化（implicit dynamical regularization）」的新現象，此機制有效地在參數超過訓練資料量極大時，仍能防止過度擬合的發生，並維持模型的良好泛化能力。

研究背景與動機

擴散模型的優異性能引發社群對其訓練機制及泛化理論的強烈興趣。與傳統生成對抗網絡（GAN）或自回歸模型相比，擴散模型透過逐步加入與去除隨機噪聲的機制，提供了更穩定及有效的生成途徑。然而，擴散模型在過度擬合的行為與時間尺度理解尚不充分。過往的研究大多從靜態角度或參數正則化層面探討模型泛化，但鮮少關注訓練動態對模型最終行為的影響。

本論文從「時間」維度切入，深入分析擴散模型訓練過程中隨時間演化的兩個本質時刻：一是模型開始生成高品質樣本的時間點（稱為 $\tau_\mathrm{gen}$），二是模型開始明顯記憶訓練資料的晚期時間點（稱為 $\tau_\mathrm{mem}$）。作者發現這兩個時間尺度相對獨立，且 $\tau_\mathrm{mem}$ 會隨訓練資料數目線性增加，而 $\tau_\mathrm{gen}$ 則保持穩定不變。

核心方法與創新

此外，作者採用了標準 U-Net 架構在真實及合成資料集上的實驗，並搭配理論上易於解析的隨機特徵（random features）模型，於高維極限下嚴謹證明了發現的理論基礎。此理論模型捕捉到了擴散模型訓練動態的關鍵機制，成功解釋了為何擴散模型在「長時間訓練 + 大量資料」條件下依然能保持泛化能力。

研究中提出的隱式動態正則化指的是訓練過程中動態演化本身帶來的正則化效果，這種效果天然地抑制模型過早記憶訓練數據。與明確加入的正則化技術（如權重衰減、Dropout 等）不同，隱式動態正則化依賴於訓練動態中兩個時間尺度的分離，形成一個「良性窗口」，讓模型先達到高質量生成，才開始出現記憶行為。而且隨著資料量增加，此窗口逐漸擴大，給予足夠訓練時間來學習泛化特徵。

主要實驗結果

透過大規模實驗，作者確認以下關鍵事實：

• 時間尺度分離：生成能力的起點 $\tau_\mathrm{gen}$ 與記憶開始的時間 $\tau_\mathrm{mem}$ 明顯分離，且 $\tau_\mathrm{mem}$ 與資料量呈線性關係。
• 資料量影響記憶起點：隨著訓練資料量增加，模型記憶行為會被推遲，這代表更多資料能擴展模型泛化的安全訓練時間窗口。
• 超參數與模型結構的穩健性：此現象在不同擴散模型架構（例如 U-Net）與多類型資料集（合成與真實）中均一致出現，具有高度通用性。
• 理論模型吻合實驗：隨機特徵理論模型的解析解成功捕捉上面實驗現象，驗證隱式動態正則化為擴散模型泛化的根本原因。

對 AI 領域的深遠影響

本研究對生成模型理論與實踐產生重大啟示。首先，它突破過去對擴散模型泛化的理解，將訓練過程中的時間維度與動態演化納入核心分析框架，提供全新視角來看待訓練與泛化的關係。其次，隱式動態正則化的發現揭示了過度參數化模型仍能泛化的本質機制，這對深度學習理論具有深遠價值，並可推廣至其他類型神經網絡。

此外，該研究對生成模型的訓練策略設計有實際指導意義。根據結果，合理選擇訓練時間與資料量能有效避免過度擬合，而非盲目延長訓練，為現有擴散模型的訓練提供了理論依據與操作指南。未來研究可基於此框架進一步探討如何設計更智能的動態調整機制，提升大規模生成模型的安全性與穩定性。

綜合而言，《Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training》這篇論文不只回答了擴散模型為何不易記憶訓練資料的核心問題，更揭示了訓練動態中隱藏的正則化機制，為生成模型理論發展揭開新篇章，值得 AI 研究者與工程師深度學習與借鑒。

---

論文資訊
📄 Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training
👥 Bonnaire, Urfin, Biroli, Mézard
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.17638

1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities

在過去的幾年裡，自監督學習（Self-Supervised Learning, SSL）在語言和視覺領域帶來了革命性的突破，如 GPT、BERT、Vision Transformers 等大型深度模型的成功。然而，在強化學習（Reinforcement Learning, RL）上，尤其是無監督且目標導向的強化學習領域，類似的規模擴展帶來突破的嘗試與成果卻較為稀缺。由此，Wang 等人在 NeurIPS 2025 發表的論文“1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities”帶來了一個激動人心的進展：藉由大幅增加網路深度至多達 1000 層以上，在無需範例示範或外部回饋的自監督強化學習設定中，顯著提升了演算法的目標達成能力。

研究背景與動機

強化學習的一大瓶頸在於對獎勵信號的強烈依賴，尤其在無人類標註或沒有明確獎勵的情境下，演算法往往難以有效探索與學習。為此，目標導向的自監督強化學習逐漸興起，演算法由環境狀態出發，以「能否抵達特定目標」本身作為指標，重點放在自主探索與目標達成。過去主流的強化學習模型多採用相對淺層（約 2 至 5 層）的神經網路結構，出於計算資源限制與訓練穩定性的考量。

然而，參考語言與視覺模型在擴大深度（層數）後帶來表現躍升，作者團隊提出一個關鍵問題：深層網絡的規模增長是否也能同樣為自監督強化學習注入全新的能力？這個假設引導他們深入研究如何透過極端擴展深度，改變 RL 代理人在無獎勵環境中的行為學習與目標達成表現。

核心方法與創新

本論文的核心貢獻是提出並驗證了在自監督情境下，將原本淺層的 RL 網絡架構擴展至多達 1024 層深的巨大網路，能在無需額外監督的前提下大幅提升目標達成率。這裡的自監督強化學習，主要是基於 對比學習（contrastive learning） 來最大化達成目標的似然或概率，代理人必須從零開始，循環實驗、學習如何達到指令下達的目標狀態。

為了緩解超深網路訓練中的梯度消失、爆炸與收斂困難，作者引入多項關鍵技術：

• 殘差連接（Residual Connections）：帶領訊息可以跨層流動，避免消失。
• 分層正規化（Layer Normalization）：確保激活分布穩定，促進深層訓練。
• 梯度剪裁與學習率調度：防止梯度爆炸與過快收斂。

此外，論文還強化了目標條件式神經網路架構的設計，使模型能有效整合當前狀態與目標表示。改變深度不只是疊加層數，而是打通了網絡的「感知深度」，讓模型能從抽象概念到細節執行都更具表現力和靈活性。

主要實驗結果

作者在多個經典的模擬環境中驗證了其方法，涵蓋機器人行走（locomotion）及操作（manipulation）任務，且明確採用無外部回饋的目標導向學習設定。實驗結果震撼：

• 深度增加帶來的效益呈現指數級成長，成功率較原本淺層基線方案提升 2 倍至最高 50 倍以上。
• 模型深層數量遠超過以往強化學習文獻中常見的 2 至 5 層，接近 1000 層，卻沒有觀察到訓練崩潰，充分展示了方法的穩定性與可行性。
• 行為質量有顯著提升：深層模型學習到更為細膩、多樣且策略性高的行動策略，遠非淺層模型能達成。例如在達成複雜操控目標時，深度網絡能規劃多步驟路徑，而非一味追求局部最優的動作。

另外，論文也跟其他現有目標導向強化學習基線方法進行對比，結果顯示無論是成功率還是行為多樣性，本方法都具備明顯優勢。這點尤其重要，因為自監督強化學習核心挑戰在於無目標或回饋設計的限制，能藉由更深模型學習出有效策略，是一大突破。

對 AI 領域的深遠影響

此論文挑戰了過去強化學習領域中關於網絡架構深度的慣例，證明即便在高度不穩定與非結構化的自監督環境中，極深網絡仍然可行且帶來巨大性能躍升。此發現意味著：

1. 自監督強化學習具備更大潛力： 隨著計算硬體與訓練技術進步，未來可開發更深更複雜的 RL 模型，突破目前目標探索與策略學習的瓶頸。
2. 網絡深度成為 RL 根本影響因素之一： 過去除非研究結構改進或獎勵設計，少有研究專注通過大幅增加深度來提升性能。本論文為 RL 界開闢了一條新的設計思路。
3. 跨領域模型設計融合趨勢： 強化學習與自監督學習、深層網絡設計等多個領域的交叉革新，將推動機器學習理論與應用更緊密結合。
4. 助力開發通用智能代理人： 在無監督或極少監督的環境中，自主學習達成複雜目標的能力，是建立類人智能或通用人工智能（AGI）關鍵基石。

總結來說，Wang 等人提出的「千層網路」自監督強化學習架構，昭示了超深層次結構在 RL 領域的嶄新應用街道，擴展了工程師與研究者對模型架構規模和訓練策略的想像空間。未來若能結合更高效的訓練方法和大規模計算資源，其在機器人學習、自動駕駛、遊戲 AI 乃至自主代理系統等方面的潛力將更為廣闊。

最後，論文的開源程式碼與詳盡實驗設定，使得其他研究者可直接重現與延伸這項研究，促進了學術與產業社群的合作與交流。這對於推動整個 AI 強化學習生態系統健康發展，具有相當重要的意義。

---

論文資訊
📄 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
👥 Wang, Javali, Bortkiewicz, Trzcinski, Eysenbach
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2503.14858

Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free 深度解析

隨著大型語言模型（Large Language Models, LLMs）的快速演進，注意力機制（Attention Mechanism）作為核心架構之一，扮演了決定性角色。從Transformer架構的成功以來，研究者不斷嘗試改良注意力機制，以提升模型效能與訓練穩定性。其中，門控機制（Gating Mechanism）作為一種有效引入非線性和調控能力的工具，被廣泛應用於LSTM、Highway Networks，以及各式線性注意力與狀態空間模型中。然而，針對門控在標準Softmax注意力中的具體影響，過往研究卻相對有限和分散。

在2025年NeurIPS頂會發表的〈Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free〉一文中，Qiu等人系統性地探討了門控機制融入Softmax注意力的效果，並以此提出一種簡潔而強大的改進策略。該論文獲選為Best Paper，凸顯其在大規模語言模型領域的重大貢獻。

研究背景與動機

近年來，隨著模型規模的爆炸性增長，如何提升注意力層的表達力和計算效率成為研究焦點。雖然Softmax注意力因其理論基礎穩固和效果卓越而持續被採用，卻存在一些隱藏瓶頸，如注意力分布過度均勻、缺乏對重要位置的精細區分能力等。此外，訓練大型模型時，Softmax注意力有時也會面臨「attention sink」問題，導致模型難以利用更長的上下文信息。

門控機制自神經網絡出現即被證明可增加模型的非線性和選擇性，像是在LSTM中Gate決定信息流的保留與忘卻，乃至於各類變體如Mixture-of-Experts（MoE）架構都依賴門控引入稀疏性和模塊化。然而，這些成功並未驅使人們深入理解門控對Softmax注意力具體帶來哪些機理層面的優勢，以及如何系統且高效地將其整合。

核心方法與創新

本論文的核心貢獻在於提出並驗證了一個極為簡單卻效果明顯的門控機制：在標準Scaled Dot-Product Attention（SDPA）輸出後，為每個attention head新增一個head-specific的Sigmoid門控。換言之，該門控會根據query條件對每個head的輸出分配一個[0,1]之間的調節係數，導入非線性變換和稀疏調控。

作者透過兩大模型類型的廣泛實驗驗證此機制：15B參數的MoE模型與1.7B參數的dense模型，訓練語料高達3.5兆token。多達30種不同門控變體被系統地比較，最終確認在SDPA結束後施加sigmoid門控的效果最佳。

該設計帶來兩個關鍵的技術突破：

• 非線性的引入：Softmax本身是可微的，但缺少額外非線性轉換。此門控結構增加了一層query依賴的非線性變換，使模型更能捕捉複雜交互特徵，從而增強表示能力。
• 稀疏性調控：門控機制根據query條件動態產生稀疏的激活模式，抑制部分attention head輸出，減少無意義或干擾性信號，提高信息傳遞的純淨度與專注度，成功緩解了「attention sink」現象。

值得一提的是，作者還分析了門控施加的不同層級位置與算子變體，確認該門控直接作用於SDPA輸出效果最佳，且餘下的注意力結構不需大幅調整，便可直接應用於現有Transformer模型。

主要實驗結果

在極大規模訓練與評測中，作者證明新加入的門控不僅提升了模型的最終性能，而且增加了訓練的穩定性與擴展性。具體亮點包括：

• 性能提升：15B MoE和1.7B dense模型在多項自然語言處理任務（如語言建模、長文本推理、上下文擴展）上均取得顯著提升，相較於無門控基準模型，困惑度（perplexity）與下游任務指標均有明顯改善。
• 訓練穩定性與學習率容忍度：門控結構讓模型可以採用更大學習率，有效加快收斂速度且降低震盪風險，顯著減少訓練中梯度爆炸或退化的問題。
• 長上下文泛化能力：透過稀疏門控緩解attention sink問題，使模型能更有效利用長篇上下文資訊，提升模型在多段落推理和長文本生成上的能力。

作者也公開了相關程式碼與模型，鼓勵社群進一步研究與擴展。

對 AI 領域的深遠影響

本論文的貢獻不僅在於提升了大型語言模型的基礎架構效能，更從理論與實證層面闡明了門控機制於Softmax注意力中扮演的雙重角色——非線性增強與稀疏調控。這為未來設計更高效、可擴展且穩定的注意力結構提供了全新指引。

首先，論文揭示了門控不僅是傳統循環神經網絡中的「控制流」，在Transformer等注意力架構中，其非線性和稀疏性調節也能關鍵提升信息選擇與表達能力，這有望激發更多跨架構的研究融合。

其次，由於可兼容現有Transformer與MoE結構，此方法易於整合於現有業界與研究實踐中，減少改動成本，支持快速迭代與規模化部署。尤其對需要長距離文本理解與生成的應用而言，該架構有效解決了長上下文依賴的瓶頸。

最後，此研究也啟示未來可結合更多動態稀疏機制與門控策略，構築更具自適應能力的深度學習模型。隨著模型規模和複雜度持續攀升，這類機制有望成為提升模型效率與智能化的重要突破口。

總結而言，〈Gated Attention for Large Language Models〉不只是一次架構細節的改進，更是對Softmax注意力本質的一次深刻剖析與革新，為大型語言模型的設計和訓練開啟了嶄新篇章。未來相關的門控注意力研究勢必成為推動自然語言處理與生成模型前沿進展的重要力量。

---

論文資訊
📄 Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
👥 Qiu, Wang, Zheng, Huang, Wen, Yang, Men, Yu, Huang, Huang, Liu, Zhou, Lin
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.06708

Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) 深度解說

隨著大型語言模型（Language Models, LMs）在自然語言生成領域日益普及，其在創造力與多樣性上的能力，特別是在開放性問題（open-ended prompts）上的表現，成為近年研究焦點。NeurIPS 2025 年最佳論文《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》由江偉、柴志堅等多位研究者發表，深入探討 LMs 在面對開放性、多樣化的用戶查詢時可能表現出的「人工集體思維效應（Artificial Hivemind）」。本文將從研究背景、核心方法、實驗結果及其對 AI 領域的深遠貢獻等層面，為讀者做詳盡解說。

研究背景與動機

現有大型語言模型雖已在多項任務展現不俗表現，但在生成富有多樣性、富創意的內容時仍存在侷限。這種侷限不僅會限制模型的應用範圍，更引發一項社會文化的潛在風險——透過大量且反覆地曝光於相似的主流機器生成內容，可能造成「人類思維同質化」，影響思想多元性與創新。學術界稱這種現象為「模式崩潰（mode collapse）」，即模型在開放性生成任務中反覆生產相似甚至雷同答案。

然而，過去衡量語言模型生成多樣性的研究多集中於極窄的任務範疇（例如隨機數生成或名字產生），且多為單一模型反覆生成的評估，缺乏針對多模型、多元人類需求下的系統性研究。此外，公開的大量多樣化開放性對話資料集亦相當稀缺，這限制了理解和改進模型多樣性表現的可能。

因此，本論文初衷為創建一個大規模且貼近真實多元用戶需求的對話資料集，並系統性地探討不同語言模型間以及單一模型內部在開放性生成任務上的同質化現象，期望藉此揭示並量化“人工集體思維（Artificial Hivemind）”效應，為未來提升生成多樣性，以及減緩AI帶來長期社會風險奠定基礎。

核心方法與創新

本研究的關鍵貢獻在於提出並實現了多項重要創新：

1. Infinity-Chat 資料集建置

作者設計並公開了一個名為 Infinity-Chat 的大型開放性對話資料庫，收錄超過 26000 筆真實世界的用戶多樣化查詢，這些查詢均沒有單一「標準答案」，支持多種合情合理的回應。Infinity-Chat 不僅具備範圍廣泛的主題，還細分為 6 大類及 17 個子類別，例如「頭腦風暴與創意發想」等，涵蓋了日常生活、專業諮詢、藝術創作等多方面內容，用以全面捕捉用戶在開放式對話中的多元需求與期待。

2. 多面向同質性研究框架

論文定義並量化兩大層面的同質化現象：

• 模型內部重複（Intra-model repetition）：同一語言模型針對相近或相同提示多次生成回應時，答案間的相似度偏高，顯示生成內容缺乏內在變異。
• 模型間同質性（Inter-model homogeneity）：不同訓練架構與參數設計的模型，面對相同開放性提示時，仍大幅產生相似的回答路徑，形同形成一種「人工集體思想」的狀態。

這種比對不同模型之間同質化的手法，是目前文獻中首次大規模且細緻地揭露語言模型群體在開放式生成時的齊頭式表現。

3. 大規模人類評價集成與分析

為了衡量答案的質與多樣性，以及對模型行為的細緻理解，Infinity-Chat 還包含超過 31250 筆人類標註資料，每則回應平均有 25 人獨立評價。這些標註涵蓋絕對評分與成對偏好，讓研究得以深入分析：

• 用戶在面對開放答案時的個人差異偏好；
• 模型輸出與人類主觀評價之間的校準度；
• 獎勵模型（Reward Models）與評審系統在多樣化答案判斷上的不足，特別是在捕捉個人化需求與多樣評價上存在誤差。

這些精密的人類評價數據支持了對模型生成行為的多面向剖析，彌補過往人工評鑑樣本小、單一維度的缺陷。

主要實驗結果

基於 Infinity-Chat，作者針對數款主流及研究前沿的語言模型進行大規模實驗，結果呈現出以下關鍵發現：

(1) 強烈的模型內及模型間同質化現象

不論是大模型或中型模型，開放式生成階段均存在顯著模式崩潰，模型內部答案重複率高，而不同架構與訓練策略的模型間生成結果，意外地高度相似。這種現象不僅限於特定類型任務，而是普遍且跨領域發生，反映出語言模型彼此間受限於類似的訓練數據與目標函數，形成一種集體「思維同質化」，因此命名為「Artificial Hivemind」。

(2) 人工標註揭示多元偏好與評價校準不足

雖然模型生成的多數回應在整體質量評估上尚算穩定，但不同人類標註者對於開放式回答的偏好差異明顯，凸顯多元性需求。相比之下，當代的語言模型評分器及獎勵模型並未能有效捕捉這種多樣化的偏好差異，導致模型評價指標與用戶真實偏好的脫節。

(3) 同質化現象與用戶需求多樣性之間的矛盾

實驗進一步證實，Models雖然在整體上呈現同質化趨勢，但用戶的需求則極其多樣且個性化，這代表目前模型缺乏足夠的調節或生成策略以反映及滿足開放性語境下的多元期望。

對 AI 領域的深遠影響

《Artificial Hivemind》一文從多個層面開啟了語言模型開放性生成的新視野，對未來 AI 研究與應用提出警示與建議：

1. 提升生成多樣性與減緩模式崩潰為重大挑戰

本研究揭示 LMs 不僅內部生成多樣性不足，甚至不同模型間也高度同質，這限制了語言模型在創新應用（如創意寫作、輔助決策、多元意見呈現等）上的價值。未來模型設計需朝減少模式崩潰、強化差異性方向發展，包括改進訓練目標、多樣化訓練數據，以及開發更有效的多目標、分層生成策略。

2. 強化評價系統的多樣性與客製化能力

由於現有獎勵模型與評分機制未能準確反映人類多樣化偏好，未來 AI 評估方法應更多整合多元人類標註者的個別偏好，或引入用戶自適應機制，使模型能調整生成風格和內容，滿足不同使用者需求，從而提升使用者體驗與信任度。

3. 對 AI 安全與社會風險的警醒

「人工集體思維」的形成暗示若大眾長期接觸高同質性的 AI 生成內容，可能影響思想多樣性與創新，帶來文化與社會層面的長期風險。此篇論文促使研究者應更加重視 AI 生成文本的多元價值與人文社會影響，將 AI 安全議題拓展至「思維同質化」與資訊多樣性保護層面。

4. 建立開放性語言生成研究的基石資源

Infinity-Chat 以其大規模、高質量、多類別且人類標註豐富的資料集，成為未來開放式語言生成研究的重要基石，將驅動更多後續探索如何優化模型多樣性、構建更具包容性及個性化的互動系統。

總結

江偉等人在《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》這篇 NeurIPS 2025 的最佳論文中，系統性揭露並量化了目前語言模型在面對自然、開放式人類提問時，所表現出的顯著「人工集體思維」同質化現象。藉由 Infinity-Chat 數據集與大規模人類評價，他們不僅提供了多面向衡量與分析模型生成多樣性的工具，也提醒社會與研究界高度重視 AI 生成多樣性不足可能帶來的長期社會與文化影響。這些洞察對未來提升語言模型創造力、增加生成內容多元性，以及構建符合人類多元需求的 AI 系統，具有不可或缺的重要指引意義。

---

論文資訊
📄 Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
👥 Jiang, Chai, Li, Liu, Fok, Dziri, Tsvetkov, Sap, Choi
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2510.22954