Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free 論文深度解析

隨著大型語言模型（Large Language Models, LLMs）的廣泛應用，如何提升其效率與性能一直是研究熱點。注意力機制（Attention Mechanism）作為 Transformer 架構的核心組件，其改良能直接影響模型的表現與訓練穩定性。此次由 Qiu 等人發表於 NeurIPS 2025 的論文《Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free》獲得最佳論文獎，提供了對注意力機制中「門控」（gating）運算的深度探索，並結合非線性與稀疏性設計提出了一種簡潔且高效的改良手法。

一、研究背景與動機

門控機制自 LSTM、Highway Networks 等早期模型開始使用，為深度神經網絡解決梯度消失、表徵整合提供了強有力工具。近年來，許多先進模型中也融入了門控思想，如狀態空間模型（State Space Models）、線性注意力（Linear Attention）以及傳統的 softmax 注意力（Softmax Attention）。然而，學術界對門控在 softmax 注意力中所扮演的特殊角色與具體影響，仍缺乏系統且全面的實證分析，尤其是在超大規模語言模型訓練環境下。

考量到大模型訓練成本高昂以及訓練不穩定的挑戰，作者團隊希望從理論與實驗兩方面，深入理解門控如何優化 softmax 注意力，並結合現有大規模文本資料與模型架構驗證門控機制的實際效益，助力 LLM 擴展化發展。

二、核心方法與技術貢獻

本論文重點調研並設計了數十種門控增強的 softmax 注意力變體，涵蓋超過 30 種不同組合，並在 15 億參數的 Mixture-of-Experts (MoE) 模型與 1.7 億參數的密集模型兩大類型上，使用超過 3.5 兆（3.5 trillion）字元的訓練語料進行實驗。

作者核心創新在於：

1. 頭部特定的Sigmoid門控機制：在傳統的 Scaled Dot-Product Attention（SDPA）之後，添加一個針對每個注意力頭（attention head）獨立調節的 Sigmoid 門控函數，形成非線性的調節層。這是 為何簡單且有效的修改，能顯著提升模型性能並降低訓練不穩。
2. 門控引入非線性與稀疏調節：其設計藉由在 low-rank 映射後施加非線性，使注意力輸出能更靈活地調整權重分布。同時，透過查詢（query）依賴的稀疏門控分數控制 SDPA 輸出，剔除冗餘或干擾信號，實現高效且泛化性強的注意力模式。
3. 解決 Attention Sink 問題：注意力匯流（attention sink）指當長距離上下文日漸增加時，注意力權重趨於集中且喪失多樣性，導致模型難以有效利用長文本資訊。此次門控設計透過稀疏門控分數分散注意力投射，極大緩解了該問題，使模型在長上下文條件下有更佳的推斷與泛化能力。

此外，文章詳細探討不同門控位置和計算策略的效果變化，確保提出方法在性能和計算資源間有良好均衡。

三、主要實驗結果

在大規模實驗中，論文證實：

• 加入頭部特定 Sigmoid 門控後，無論在 MoE 模型或密集模型上，整體效能表現均獲得顯著提升，多項下游任務達成最先進水準（state-of-the-art）。
• 訓練過程更為穩定，模型對較大學習率的容忍度提高，縮短訓練時間且降低了超參數調整難度。
• 模型在擴展規模時，性能提升趨勢更加順暢，顯示門控不僅提升即時表現，更有助於未來模型擴大化的穩定訓練與泛化。
• 在長上下文推理任務中，透過稀疏門控有效抵抗 attention sink，模型能更精準捕捉遠距離依賴，擴展了 LLM 的應用邊界。

更難能可貴的是，作者團隊公開了相關程式碼與訓練模型，促使社群能更便利地復現及延伸本研究成果，加速門控注意力在產業與學術的推廣。

四、對 AI 領域的深遠影響

此篇獲獎論文的意義不僅在於提出一套實用且高效的注意力優化方案，更在於從結構與理論角度系統揭示了門控機制於 Transformer 注意力中的本質與作用。整體觀點指出：

• 門控不只是簡單的加權調節器，而是透過非線性與稀疏調控，實現類似神經生物學中「選擇性激活」的效果，進一步提升語言模型的信息表徵能力與穩定性。
• 對大規模模型訓練過程中的不穩定性、訓練效率瓶頸，以及長文文本建模瓶頸有具體緩解方案，對於未來 LLM 在產業實務中大規模部署具重要參考價值。
• 門控注意力為 Attention 架構帶來新的設計空間，未來可與稀疏激活、動態路徑選擇、結構化稀疏等技術深入結合，形塑更多新型態高效深度學習模型。

總結而言，《Gated Attention for Large Language Models》透過嚴謹實驗與系統分析，為 Transformer 注意力機制注入新思維，推動大型語言模型技術進一步向高效能、可擴展性以及實務適用性邁進，是未來 AI 研究與應用不可忽視的重要里程碑。

---

論文資訊
📄 Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
👥 Qiu, Wang, Zheng, Huang, Wen, Yang, Men, Yu, Huang, Huang, Liu, Zhou, Lin
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2505.06708