在深度學習蓬勃發展的背景下，優化算法的表現直接影響模型訓練的效率與最終效果。Adam 這類基於一階梯度的自適應學習率方法因其穩定且快速的收斂特性，成為現今訓練深度神經網絡的熱門選擇。然而，儘管 Adam 在各類應用中廣泛使用，其收斂性質的完整理論證明卻長期存在爭議。本篇由 Reddi、Kale 和 Kumar 在 ICLR 2018 發表並獲得最佳論文獎的里程碑式論文《On the Convergence of Adam and Beyond》，深入探討了 Adam 及其變體在收斂理論上的缺陷，並提出具備長期梯度記憶的新型演算法解決此問題，對優化算法領域產生深遠影響。
研究背景與動機
隨著深度學習模型規模日益龐大，傳統的隨機梯度下降法（SGD）因更新率需人工調節且常遭遇震盪和收斂緩慢問題，逐漸被一系列自適應學習率優化方法所取代，包括 RMSProp、Adam、Adadelta、Nadam 等。這些方法主要透過計算過去梯度的平方指數移動平均（exponential moving average）來調整每個參數的學習率，改善訓練穩定性與速度。
然而，在多變數或大型輸出空間等複雜問題中，研究者與實務工程師發現 Adam 等演算法會出現無法收斂至最佳解的情況，尤其在非凸優化問題下無法保證收斂性。這種現象對深度學習訓練的穩定性與理論基礎帶來挑戰，促使該論文作者針對 Adam 演算法的核心機制展開理論剖析。
核心方法與創新
本論文的核心發現是 Adam 欠缺收斂性的根本原因在於其使用的單一層指數移動平均來估算梯度的二階動量（即平方梯度的平均），這種方法忽視了梯度隨時間的多樣性及長期依賴結構。作者透過嚴謹數學分析，提出了一個簡單的凸優化問題反例，證明 Adam 在該問題中會持續震盪並無法收斂至全局最優解，顯示先前對 Adam 收斂的理論分析不完全，且存在嚴重漏洞。
基於上述洞察，作者提出了修正方案：在指數移動平均操作中引入「修正項」以提高其對過去梯度的「長期記憶」能力，把傳統的單指數衰減改為加入更多保護記憶的設計，稱為 AMSGrad 演算法。AMSGrad 強制所有時刻估計值保持不遞增，避免因估算減少導致步長增大的問題，確保每次更新都能朝著收斂穩定的方向前進。
該論文不僅嚴謹證明了 AMSGrad 在凸設定下具有確實收斂性保障，還將理論擴展至非凸環境（如深度神經網絡），增進了基於加權平均的自適應優化算法整體理論完整性。此外，AMSGrad 保留了 Adam 演算法可適應不同參數尺度與梯度幅度的優點，兼具理論與實務價值。
主要實驗結果
為驗證理論，作者選取多種合成凸優化問題，展示 Adam 演算法在缺乏修正時無法收斂，表現震盪明顯；相較之下，AMSGrad 展示平穩下降趨勢，有效率顯著提升。在非凸深度學習任務中，作者以影像分類等問題實驗各種優化器，結果顯示 AMSGrad 不僅能維持收斂穩定性，有時甚至超越 Adam 與其他自適應方法的最終泛化性能。
這些實驗結果進一步證明論文主張：正確建構長期記憶機制對優化算法尤為重要，且 AMSGrad 可作為理論嚴謹且具實務競爭力的替代方案。
對 AI 領域的深遠影響
該論文的影響力體現在以下幾點：
- 理論突破：首次明確指出 Adam 等自適應演算法在收斂理論上的缺陷，並提供數學嚴謹的證明與修正方法，是優化理論的重要進展。
- 方法學創新：提出 AMSGrad，將指數平均的缺陷問題系統化改進，啟發後續工作設計更強健的自適應優化器。
- 實務啟示：為工程師和研究者在選擇優化器時提供可靠的理論依據與可替代方案，加強了深度學習模型訓練的穩定性與效率。
- 後續研究基石：此論文成為優化算法理論研究中被頻繁引用的基礎資料，推動更多關於自適應學習率演算法的討論與改進，促進優化方法向更廣泛的問題類型延伸（如非凸優化、多任務學習等）。
總體而言，《On the Convergence of Adam and Beyond》提供了自適應優化算法分析上的里程碑結論，既糾正了先前錯誤認知，也帶來實務可用的工具與理論指引。對於任何致力推動深度學習優化方法研發的研究者或工程師而言，這篇論文都是深入理解 Adam 演算法及其局限、並致力設計更強優化器不可或缺的參考典範。
論文資訊
📄 On the Convergence of Adam and Beyond
👥 Reddi, Kale, Kumar
🏆 ICLR 2018 · Best Paper
🔗 arxiv.org/abs/1904.09237
沒有留言:
張貼留言