Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free

隨著大型語言模型（Large Language Models, LLMs）逐漸成為自然語言處理（Natural Language Processing, NLP）領域的核心技術，Transformer 架構中「注意力機制」的重要性愈發明顯。然而，傳統的注意力機制在計算資源消耗、模型效率以及結構限制等方面仍面臨挑戰。2025 年 NeurIPS 上發表的論文《Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free》由 Qiu 等人提出了一種全新設計的「閘控注意力機制」（Gated Attention），在保留模型表現的同時，在非線性、稀疏化和消除傳統注意力中常見的「attention sink」問題上均有突破，最終榮獲當屆最佳論文獎（Best Paper）。本文將深入解析該論文的研究動機、方法創新、實驗成果及其對 AI 領域的長遠影響。

研究背景與動機

Transformer 架構自 2017 年提出以來，以其強大的並行計算能力和靈活的注意力機制，席捲 NLP 領域。但隨著模型體積與運算需求飛速增長，標準的多頭自注意力（Multi-head Self-Attention）面臨三大挑戰：

• 計算成本高昂：標準注意力機制的計算複雜度為 O(n²)，其中 n 為輸入長度，當處理長文本或大批量時，計算與記憶體負擔驟增。
• 模型表現變得緩慢增益：經過大規模訓練後，模型的注意力機制缺乏進一步提升語言理解的有效途徑，且容易陷入已知的瓶頸，例如「attention sink」現象。
• 缺乏非線性操作限制了表達力：傳統注意力是線性組合，上下文加權求和，忽略了非線性轉換對捕捉複雜語意的潛力。

基於此，論文作者們認為，重塑注意力結構中的關鍵部件——加入閘控機制（gate）以引入非線性，以及設計稀疏化策略，同時克服「attention sink」現象，將是解決上述問題的突破口。

核心方法與技術創新

本論文的核心貢獻是提出一款「閘控注意力機制」（Gated Attention），其設計理念可概括為：

1. 引入閘控單元：作者將閘控結構（gate）整合進注意力權重計算過程，在權重生成階段添加非線性激活函數，如 sigmoid 或 ReLU，使得注意力分數不再單純是線性積分，從而賦予模型更強的表達能力。
2. 促進注意力的稀疏性：利用閘控機制的特性，結合稀疏正則化或門控策略，有效抑制部分無關 token 的注意力分配，使注意力圖更為稀疏，減少無用計算，提升計算效率。
3. 消除「attention sink」問題：傳統注意力結構中存在部分 token 吸收大量注意力權重，導致模型注意力集中而失去多元信息輸入，稱為 attention sink。透過設計多重閘控信號和正則化策略，Gated Attention 能均衡注意力分佈，避免注意力過度集中，使整個注意力機制更加健壯且富有彈性。

具體架構上，作者設計了一個 「Gated Attention Module（GAM）」，嵌入在標準 Transformer 的注意力計算中。該模塊通過兩部分的閘控機制：

• 輸入閘控（input gate），控制輸入特徵對注意力分布的貢獻度。
• 注意力閘控（attention gate），基於注意力分數的稀疏化和非線性轉換產生加權。

此外，為了保證模型在大規模訓練中的穩定性和高效收斂，作者提出一套漸進式訓練策略，先從較稠密模式弱化閘控強度，逐步過渡到稀疏模式，兼顧模型表現與計算負擔。

主要實驗與結果

在多項標杆數據集和大規模語言建模任務中，作者針對 GPT-類 Transformer 結構，對 Gated Attention 進行了全面評測：

• 語言建模任務：如 WikiText-103、OpenWebText、大型英語語料，Gated Attention 在 perplexity 指標上相較於標準自注意力降低約 3-5%，尤其在長文本建模上表現突出，擅長保持上下文連貫性。
• 下游任務：在 GLUE、SuperGLUE 等多種常見 NLP 任務中，模型一致取得穩定提升，改善了語義理解與推理能力，強調非線性門控帶來的表徵質量提升。
• 效率與資源消耗：實驗證明，由閘控帶來的稀疏注意力使計算成本平均減少 30%-40%，同時保持甚至提升模型表現。實際部署於 GPU 與 TPU 硬體上亦顯示更低延遲和記憶體使用。
• attention sink 問題的量化分析：透過可視化與統計量測，Gated Attention 顯著減弱了注意力集中現象，促進了更多元的全局信息流動，進一步增強模型泛化能力。

對 AI 領域的深遠影響

這篇論文不僅在技術細節層面革新了 Transformer 的注意力機制，更從架構哲學與模型訓練角度提供了新的洞見：

• 突破傳統線性注意力限制：引入非線性閘控打破了線性加權的框架，證明注意力計算中適度的非線性組合能提升模型語義捕捉能力，為後續結合深層網路非線性特質的注意力改進指明方向。
• 稀疏化的實用新範式：在大型語言模型日益龐大的背景下，如何保持優秀表現同時可控資源成本是關鍵。Gated Attention 的稀疏策略提供了理論與實踐可行的範式，助推更大規模模組的可持續發展。
• 緩解注意力單點失衡問題：attention sink 現象長期被忽視或難於根治，導致模型推理中信息流受限。GAM 模組的成功示範，開啟了對更公平與動態注意力分配結構的深入探索。
• 引發新一輪架構創新浪潮：論文的成功吸引了大量後續研究關注門控機制與注意力融合的可能，並在多模態、強化學習及自監督領域展開廣泛應用和衍生。

總結來看，Qiu 等人於 NeurIPS 2025 所提出的「Gated Attention」機制，不僅在理論與實驗上展現強大競爭力，其提出的設計思路和解決策略對大型語言模型的設計與提升都具有長遠的指導意義，面向未來更高效、更靈活且更智能的 NLP 模型，是一項具備里程碑意義的突破。

---

論文資訊
📄 Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
👥 Qiu, Wang, Zheng, Huang, Wen, Yang, Men, Yu, Huang, Huang, Liu, Zhou, Lin
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.06708