Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free 深度解析

隨著大型語言模型（Large Language Models, LLM）在自然語言處理領域的持續突破，如何提升其效能與訓練穩定性成為學界及業界集中攻關的重點。注意力機制（Attention Mechanism）作為 Transformer 架構的核心，歷經多年發展已展現強大表現，但仍存在如「注意力匯流」（attention sink）和擴展長序列表現不佳等挑戰。關鍵之一在於，儘管「門控機制（Gating）」自早期的 LSTM、Highway Networks 以至近年各類改良的注意力變體中被廣泛應用，學界卻少有系統性探討門控在軟體注意力（Softmax Attention）本體中的具體作用與效益。

來自清華等多所頂尖研究單位的 Qiu 等人在 2025 年 NeurIPS 發表的《Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free》一文中，針對上述問題提出突破性研究，榮獲本屆 Best Paper。作者基於龐大規模資料集（3.5 兆 token）深入實驗超過 30 種變體型態，涵蓋規模達 15 億參數的 Mixture-of-Experts（MoE）模型與 1.7 億參數稠密模型，全面比較門控機制在不同注意力設計上的應用及其影響。

研究背景與動機

Transformer 中的 Scaled Dot-Product Attention（SDPA）憑藉其優異的表示學習能力，成為大型語言模型的基石。然門控機制雖被多次嘗試結合，例如在線性注意力、狀態空間模型（State Space Models）與其他軟注意力變體，卻鮮少有文獻系統性解構門控本身於軟注意力層的核心價值，尤其在大型模型之下其功效並未被充分量化與理解。門控理應賦予模型非線性調節能力與稀疏選擇性，卻因不同設計細節而影響深遠，這激發作者探索不同門控策略下的結構與行為。

核心方法與創新點

論文的核心創新來自一個簡單但極具影響力的修改：在標準的 SDPA 之後引入「頭專屬（head-specific）的 Sigmoid 門控機制」。具體來說，作者在多頭注意力的每個頭輸出後，應用一組可學習的 Sigmoid 函數對該頭的輸出向量加權控制，形成了一種非齊次的激活門控，既維持了軟注意力結構又加入非線性調節。

透過大量實驗，作者探討了不同門控位置（如查詢、鍵、值、輸出）與算子（Sigmoid、ReLU 等）對模型表現的影響，並比較稀疏與稠密門控機制。最終發現：

• 在 SDPA 後應用 query-dependent 的稀疏 Sigmoid 門控，能有效引入非線性，顯著提升模型性能。
• 此機制不僅避免了「注意力匯流」（單一頭佔主導注意力分配，導致其他頭輸入退化）的問題，也促進了長序列的泛化能力。
• 門控帶來的非線性調節大幅增強訓練的穩定性，允許模型以更高學習率訓練，加速模型收斂與擴展。

值得一提的是，本研究使用了涵蓋三兆多 token 巨量數據集，並於大規模參數網絡（15B MoE 和 1.7B dense）上系統化驗證效果，證明此簡單門控可以無縫融入主流 Transformer 模型並普遍帶來提升。

主要實驗結果

在實驗部分，作者展示了關鍵的定量與定性分析：

• 精準度提升：15B MoE 與 1.7B 稠密模型均在多項 NLP 任務中獲得穩定的效能增長，特別是在長文本理解和生成上有明顯優勢。
• 訓練穩定性強化：引入門控後，模型在訓練過程中表現出更強的耐大學習率能力，梯度震盪下降，促進更快收斂。
• 注意力匯流緩解：以往多頭注意力在某些頭過度專注特定 token 導致其他頭失效的問題，在引入門控後明顯緩和，使模型多頭的多樣性得到維護。
• 長序列 extrapolation：作者發現門控機制提升模型對超出訓練長度範圍的序列的理解與生成能力，解決傳統 Transformer 長距離依賴衰退的困境。

此外，論文隨附了開放源碼與模型權重，促進社群後續研究與實踐，具有高度推廣價值。

對 AI 領域的深遠影響

《Gated Attention for Large Language Models》不僅提出了一個看似簡單卻高效的結構改良策略，還深化了我們對門控在 Transformer 注意力機制中角色的理解。其主要貢獻可歸納如下：

1. 揭示門控的核心價值：通過系統實驗明確指出，門控為軟注意力帶來的非線性與稀疏特性是提升模型性能與穩定性的關鍵，有別於以往將門控視為「附加」元件的觀念；它是軟注意力內部功能的一種重要補充。
2. 推動大規模模型訓練技術革新：能允許更高學習率與具備稀疏調節能力的門控設計，對未來超大規模預訓練模型的高效訓練具有啟發性，可能成為新一代訓練穩定性優化技術的基石。
3. 緩解注意力匯流問題，提升多頭多樣性：這有助於堅固 Transformer 在多模態、多任務情境下的泛化能力，進而使模型更靈活且具解釋性。
4. 改進長序列泛化，拓寬應用場景：在對話系統、長篇文本生成、程式碼理解等領域，能顯著增強模型在上下文長程依賴的表現，提升應用質量與用戶體驗。

總結來說，該論文不僅在實驗規模與技術細節上大幅推動了軟注意力機制的前沿，也為未來探索 Transformer 架構中的結構性非線性與動態稀疏性開闢了嶄新視野。對於正在研發下一代大型語言模型的工程師與研究者而言，本文所揭示的「頭專屬門控」設計與相關分析，無疑提供了一條兼具理論深度與實務價值的進路方向。

---

論文資訊
📄 Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
👥 Qiu, Wang, Zheng, Huang, Wen, Yang, Men, Yu, Huang, Huang, Liu, Zhou, Lin
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.06708