Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free 深度解析

隨著大型語言模型（Large Language Models, LLMs）的快速演進，注意力機制（Attention Mechanism）作為核心架構之一，扮演了決定性角色。從Transformer架構的成功以來，研究者不斷嘗試改良注意力機制，以提升模型效能與訓練穩定性。其中，門控機制（Gating Mechanism）作為一種有效引入非線性和調控能力的工具，被廣泛應用於LSTM、Highway Networks，以及各式線性注意力與狀態空間模型中。然而，針對門控在標準Softmax注意力中的具體影響，過往研究卻相對有限和分散。

在2025年NeurIPS頂會發表的〈Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free〉一文中，Qiu等人系統性地探討了門控機制融入Softmax注意力的效果，並以此提出一種簡潔而強大的改進策略。該論文獲選為Best Paper，凸顯其在大規模語言模型領域的重大貢獻。

研究背景與動機

近年來，隨著模型規模的爆炸性增長，如何提升注意力層的表達力和計算效率成為研究焦點。雖然Softmax注意力因其理論基礎穩固和效果卓越而持續被採用，卻存在一些隱藏瓶頸，如注意力分布過度均勻、缺乏對重要位置的精細區分能力等。此外，訓練大型模型時，Softmax注意力有時也會面臨「attention sink」問題，導致模型難以利用更長的上下文信息。

門控機制自神經網絡出現即被證明可增加模型的非線性和選擇性，像是在LSTM中Gate決定信息流的保留與忘卻，乃至於各類變體如Mixture-of-Experts（MoE）架構都依賴門控引入稀疏性和模塊化。然而，這些成功並未驅使人們深入理解門控對Softmax注意力具體帶來哪些機理層面的優勢，以及如何系統且高效地將其整合。

核心方法與創新

本論文的核心貢獻在於提出並驗證了一個極為簡單卻效果明顯的門控機制：在標準Scaled Dot-Product Attention（SDPA）輸出後，為每個attention head新增一個head-specific的Sigmoid門控。換言之，該門控會根據query條件對每個head的輸出分配一個[0,1]之間的調節係數，導入非線性變換和稀疏調控。

作者透過兩大模型類型的廣泛實驗驗證此機制：15B參數的MoE模型與1.7B參數的dense模型，訓練語料高達3.5兆token。多達30種不同門控變體被系統地比較，最終確認在SDPA結束後施加sigmoid門控的效果最佳。

該設計帶來兩個關鍵的技術突破：

• 非線性的引入：Softmax本身是可微的，但缺少額外非線性轉換。此門控結構增加了一層query依賴的非線性變換，使模型更能捕捉複雜交互特徵，從而增強表示能力。
• 稀疏性調控：門控機制根據query條件動態產生稀疏的激活模式，抑制部分attention head輸出，減少無意義或干擾性信號，提高信息傳遞的純淨度與專注度，成功緩解了「attention sink」現象。

值得一提的是，作者還分析了門控施加的不同層級位置與算子變體，確認該門控直接作用於SDPA輸出效果最佳，且餘下的注意力結構不需大幅調整，便可直接應用於現有Transformer模型。

主要實驗結果

在極大規模訓練與評測中，作者證明新加入的門控不僅提升了模型的最終性能，而且增加了訓練的穩定性與擴展性。具體亮點包括：

• 性能提升：15B MoE和1.7B dense模型在多項自然語言處理任務（如語言建模、長文本推理、上下文擴展）上均取得顯著提升，相較於無門控基準模型，困惑度（perplexity）與下游任務指標均有明顯改善。
• 訓練穩定性與學習率容忍度：門控結構讓模型可以採用更大學習率，有效加快收斂速度且降低震盪風險，顯著減少訓練中梯度爆炸或退化的問題。
• 長上下文泛化能力：透過稀疏門控緩解attention sink問題，使模型能更有效利用長篇上下文資訊，提升模型在多段落推理和長文本生成上的能力。

作者也公開了相關程式碼與模型，鼓勵社群進一步研究與擴展。

對 AI 領域的深遠影響

本論文的貢獻不僅在於提升了大型語言模型的基礎架構效能，更從理論與實證層面闡明了門控機制於Softmax注意力中扮演的雙重角色——非線性增強與稀疏調控。這為未來設計更高效、可擴展且穩定的注意力結構提供了全新指引。

首先，論文揭示了門控不僅是傳統循環神經網絡中的「控制流」，在Transformer等注意力架構中，其非線性和稀疏性調節也能關鍵提升信息選擇與表達能力，這有望激發更多跨架構的研究融合。

其次，由於可兼容現有Transformer與MoE結構，此方法易於整合於現有業界與研究實踐中，減少改動成本，支持快速迭代與規模化部署。尤其對需要長距離文本理解與生成的應用而言，該架構有效解決了長上下文依賴的瓶頸。

最後，此研究也啟示未來可結合更多動態稀疏機制與門控策略，構築更具自適應能力的深度學習模型。隨著模型規模和複雜度持續攀升，這類機制有望成為提升模型效率與智能化的重要突破口。

總結而言，〈Gated Attention for Large Language Models〉不只是一次架構細節的改進，更是對Softmax注意力本質的一次深刻剖析與革新，為大型語言模型的設計和訓練開啟了嶄新篇章。未來相關的門控注意力研究勢必成為推動自然語言處理與生成模型前沿進展的重要力量。

---

論文資訊
📄 Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
👥 Qiu, Wang, Zheng, Huang, Wen, Yang, Men, Yu, Huang, Huang, Liu, Zhou, Lin
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.06708