On the Convergence of Adam and Beyond

在深度學習領域中，優化器（optimizer）扮演著至關重要的角色，它直接影響模型的訓練速度和最終性能。Adam（Adaptive Moment Estimation）作為一種自適應學習率的優化方法，憑藉其出色的表現迅速成為業界和學術界的主流選擇。Adam 結合了 RMSProp 的自適應步長與動量（momentum）的技巧，極大提升了學習效率。然而，儘管 Adam 在多數實務應用中表現良好，其理論收斂性質卻一直存在爭議，特別是在非凸優化問題中，學界缺乏充分的理論保障。

本文《On the Convergence of Adam and Beyond》由 Reddi、Kale 及 Kumar 於 ICLR 2018 發表，榮獲最佳論文獎，聚焦於解析 Adam 優化器的收斂性問題，並提出改進方案以確保理論收斂，同時保持其良好的實務表現，對優化器設計和深度學習訓練理論有深遠影響。

研究背景與動機

隨著深度神經網路的爆炸式發展，如何快速且穩健地優化高維度、非凸損失函數成為重要議題。Adam 優化器因其對學習率的自適應調整和對梯度一、二階矩估計的結合，能在訓練初期迅速達到不錯的收斂速度，展現優於傳統 SGD（Stochastic Gradient Descent）的性能，然而理論基礎卻被質疑。

先前已有工作指出 Adam 在某些簡單但具代表性的凸問題中可能不收斂，導致研究者對其理論保障產生疑慮。這不僅挑戰了 Adam 廣泛使用的合理性，更促使學界重新審視和改良這類自適應優化器的設計。本文的核心動機即是從理論角度出發，解析 Adam 和相關演算法的收斂行為，並提出具有收斂保證的優化方法。

核心方法與創新

本文首要貢獻是深入分析 Adam 優化器的數學機制，指出造成其不收斂的根本原因在於 Adam 使用的自適應學習率的調整方式可能導致步長無法有效逐步減少，特別是在梯度的二階動量（即梯度平方均值）的偏差校正上存在隱患。作者提供反例證明 Adam 無法保證損失函數在凸設定下的收斂。

基於此，作者提出了一個修正版本——AMSGrad。AMSGrad 在更新步驟中引入對二階矩的約束，確保每一步的二階矩估計不小於之前的任何估計，即採用遞增的最大值作為二階矩項，避免原 Adam 中動量估計值遞減導致步長膨脹的問題。這種改動看似簡單，卻大幅提升數學上的可控性，最終賦予 AMSGrad 理論上的收斂保證。

更具體地說，AMSGrad 在迭代更新中保留最大歷史二階矩估計，確保自適應學習率的穩定，並使用類似 ADAM 的偏差修正策略，有效解決偏差問題。作者針對凸函數情況，證明該優化器以次線性趨勢收斂，理論嚴謹，填補了先前在 Adam 收斂性質上的理論空白。

主要實驗結果

除了理論證明，本文還進行大量實驗來驗證 AMSGrad 在深度學習模型上的表現。實驗涵蓋多個標準資料集與模型架構（如 CIFAR-10、ImageNet），比較 AMSGrad 與 Adam、SGD、RMSProp 等知名優化器的效率與效果。

結果顯示，AMSGrad 在訓練過程中表現更穩定，訓練損失的下降曲線更平滑，避免了 Adam 有時出現的損失震盪和訓練不收斂問題。在測試準確率方面，AMSGrad 通常能匹配或超越 Adam，且在某些問題上收斂速度明顯優於傳統優化器。這些實驗結果充分證實理論分析的實用價值，展現了 AMSGrad 作為新一代優化方法的潛力。

對 AI 領域的深遠影響

本文不僅解決了長期困擾深度學習社群的重要理論問題，也是自適應優化器發展史上的里程碑。原本因收斂性不足而備受質疑的 Adam，經由 AMSGrad 的理論完善與實驗驗證，成為更為可靠的工具，推動了基於動量與自適應步長的優化方法的進一步研究。

此外，本論文的研究方法和思想擴展了對自適應優化器設計的理解，特別是在如何平衡自適應步長的靈活性與收斂穩定性之間提供了新視角。隨後許多基於本研究的衍生優化器被提出，推動了深度神經網路訓練理論與實務的一體化。

對於工程師與研究生而言，本文也啟發他們在優化器選擇與設計時，不應只看重實驗表現，而須關注內部機制與理論依據。這樣才能在面對多變、複雜的深度學習問題時做出更穩健的策略選擇，確保模型訓練的效率與可靠性。

總結

總結來說，《On the Convergence of Adam and Beyond》這篇佳作徹底剖析了 Adam 優化器的收斂問題，提出 AMSGrad 作為有理論保證的替代方案，並透過廣泛實驗驗證其優越性。此研究提升了深度學習優化算法理論的嚴密性和實用價值，迄今仍是優化器研究與實踐的重要參考基石，對 AI 領域的穩健發展具有深遠影響。

---

論文資訊
📄 On the Convergence of Adam and Beyond
👥 Reddi, Kale, Kumar
🏆 ICLR 2018 · Best Paper
🔗 arxiv.org/abs/1904.09237