On the Convergence of Adam and Beyond 深度解析

在深度學習的訓練過程中，優化方法扮演了舉足輕重的角色。隨著模型結構變得越來越複雜，傳統的梯度下降法在大型非凸函數上的收斂速度與效果逐漸難以滿足需求。基於此，許多帶有動量與自適應學習率調整的優化演算法如 RMSProp、Adam、Adadelta、Nadam 等相繼被提出，且在實務深度網絡訓練中廣泛被採用。然而，這些方法雖然在各種任務上展現了強大的表現，卻存在一個隱藏卻關鍵的問題——在某些設定下，它們並不保證收斂到最優解。

本篇由 Reddi、Kale 與 Kumar 於 ICLR 2018 發表的論文《On the Convergence of Adam and Beyond》榮獲 Best Paper 大獎，專注於探討 Adam 與其類似演算法的收斂性問題，並提出理論分析與改良方案。該研究不僅糾正了先前對 Adam 收斂性的錯誤理解，更開啟了改進自適應優化方法的全新視角，成為優化理論與實踐領域中的重要里程碑。

研究背景與動機

Adam（Adaptive Moment Estimation）是目前深度學習中最受歡迎的優化方法之一，其主要特點是基於一階與二階梯度矩估計的指數移動平均（Exponential Moving Average, EMA），動態調整每個參數的學習率。這種「按參數」的自適應學習率極大加速了訓練速度，也減少了超參數調節的複雜度。

然而，最近的實務與理論研究發現，在某些特定例子（如極大輸出空間等），Adam 與類似算法可能無法收斂到全域或甚至局部最優點，甚至出現參數震盪或無限循環的現象。先前的研究未能完全解析這種問題，導致許多關於 Adam 收斂性的理論結果均有所欠缺，這在學術及工程應用層面都帶來潛在風險。

因此，本論文首要目標為揭示 Adam 收斂失敗的根本原因，透過嚴謹的數學分析和實例驗證，為後續優化算法的改進和發展奠定理論基石。

核心方法與創新

課題的核心在於 Adam 使用的指數移動平均技術本質上是一種「短期記憶」機制。Adam 對過去梯度平方的 EMA 以一個固定的衰減率進行加權，導致權重遠古的梯度會迅速遞減，造成對當前梯度變化的偏重，但忽略了更長時期內梯度的整體趨勢，這成為收斂失敗的致命缺陷。

作者首先構造了一個簡單的凸優化問題例子 (counter-example)，該問題明確展示了 Adam 在此狀況下可能永遠無法收斂到全局最優解。這個例子在學術界首次提供了理論與實務裂痕的明確證明，推翻了先前普遍接受的 Adam 收斂假設。

接著，論文詳細分析了先前有關 Adam 收斂證明中的缺陷，指出這些理論漏掉了 EMA「權重不平衡」產生的影響，使得部分參數步伐的調節失衡。

基於上述洞察，作者提出了一種改良演算法稱為 AMSGrad，其核心在於引入「長期記憶」機制來解决 EMA 權重快速衰減的問題。AMSGrad 保存了過去所有梯度平方的最大值，讓參數更新時所用的學習率不會被歷史指標過早淡化，達到穩定且保守的步長調節。

AMSGrad 不僅改正了 Adam 本身的收斂不足，且在更新規則上保持了 Adam 的自適應特性，易於實現且與現有深度學習框架兼容。

主要實驗結果

作者在多個實驗場景中驗證其理論分析與新算法的有效性。包括經典的凸優化問題與非凸深度神經網絡訓練任務，結果顯示：

• 在理論構造的反例問題中，Adam 無法收斂，而 AMSGrad 則成功達成全局最優解。
• 在實際深度學習任務（如圖像分類、語言模型訓練）中，AMSGrad 不僅表現穩定，且有時可提供比 Adam 更優的最終模型效能。
• AMSGrad 相較於 Adam，對超參數的敏感度較低，這對真實世界工程師使用優化演算法具有實質價值。

實驗也涵蓋了其他自適應優化器，進一步強調了長期記憶策略對於改善更新穩定性與提升收斂性的重要性。

對 AI 領域的深遠影響

本論文對當前 AI 與深度學習領域的影響是多維且深遠的：

1. 理論貢獻： 透過嚴謹的數學證明與反例提供了對 Adam 收斂性的新理解，分辨了短期 EMA 記憶機制的先天不足， 彌補了該領域理論上的重大斷層。
2. 優化策略革新：AMSGrad 問世，帶來一種更穩健的自適應優化框架，平衡了收斂性與效率，促使後續大量研究沿著改進記憶機制與穩定性展開。
3. 工程實務價值：AMSGrad 簡易實現且在主流深度學習平台中廣泛支持，為使用者提供更可靠的優化選擇，尤其是處理複雜模型及巨量數據時，降低訓練失敗風險。
4. 啟發後續研究：本論文針對自適應梯度方法的收斂缺陷揭露，推動了針對優化演算法記憶體設計、調參規則等一系列後繼創新研究，加速了深度學習優化理論與實作的融合。

綜上所述，Reddi 等人的《On the Convergence of Adam and Beyond》不僅糾正了 Adam 這一領域經典優化器的理論誤區，且提出了具體且有效的修正方案，推動了深度學習訓練優化技術的持續進步。對於工程師與研究者而言，理解此論文的觀點與方法，可以更有信心地選擇或設計優化演算法，提升 AI 模型訓練的穩定性與效能，是當代不可或缺的重要知識基石。

---

論文資訊
📄 On the Convergence of Adam and Beyond
👥 Reddi, Kale, Kumar
🏆 ICLR 2018 · Best Paper
🔗 arxiv.org/abs/1904.09237