在深度學習的訓練過程中，優化演算法扮演了不可或缺的角色。隨著模型規模擴大與結構變得愈加複雜，如何設計一套既穩定又高效的優化方法，來有效逼近最優解，成為研究的重點。Adam（Adaptive Moment Estimation）優化器因其在多種任務上展現的快速收斂與便捷性，迅速成為主流選擇之一。然而，儘管Adam及其衍生版本如RMSProp、Adadelta、Nadam等在實務上被廣泛採用，近年來有不少實證指出這些演算法在某些情境下並無收斂保證，甚至會震盪或偏離最優解。
本篇出自Reddi、Kale與Kumar三位學者於2018年ICLR所發表的經典論文《On the Convergence of Adam and Beyond》，並獲得該屆最佳論文獎。論文深入檢視了Adam優化器的理論基礎，揭露其根本缺陷，並提出具體的新演算法改進方案，對優化方法的理論與實務均帶來深遠影響。
研究背景與動機
Adam等Adaptive Gradient方法的關鍵特徵，是透過計算過去梯度平方的指數移動平均（exponential moving average，EMA），進而對梯度進行自適應調整，改善學習率設定與收斂速度。此設計初衷為降低手動調整學生率的困難，並穩定更新方向。
不過，實務上觀察到，即使在凸優化問題等較簡單的設定下，Adam仍可能不收斂到最優解，甚至在某些非凸問題表現不佳。作者認為，這種失效並非偶發，實則與Adam採用的指數移動平均機制密切相關，原因在於這種「短期記憶」使得算法對過去梯度的累積資訊不足，導致步長調控不當，因而偏離理想的收斂路徑。
核心方法與技術創新
論文的主要技術貢獻在於：
- 揭示Adam不收斂的理論範例：作者構造了簡單的凸函數優化問題，證明在此情境下Adam演算法可能無法收斂到最優解。這個結果挑戰了當時文獻中關於Adam收斂性的普遍假設，強調現有證明存在盲點。
- 分析問題根本原因：透過數學推導指出，Adam中使用的指數移動平均計算梯度二階矩的方式，因為會對較早期的梯度快速衰減權重，導致梯度二次矩估計器在迭代過程中反覆震盪，使學習率調節產生不良後果。
- 提出改進方案——AMSGrad：為解決上述問題，作者引入一種新的梯度二次矩估計方法，稱為AMSGrad。該方法保留歷史梯度二次矩的最大值來取代傳統EMA，建立對過去信息的長期記憶，避免梯度估計的快速波動，提供了理論上的收斂保證。
- 理論證明與推廣：論文不僅證明AMSGrad在凸與非凸條件下均可收斂，更詮釋了為何保留過去梯度資訊有助於優化的穩定性，帶來理論與實務的雙重支持。
主要實驗結果
作者在多個標準的基準測試集上對AMSGrad進行廣泛評估，包括圖像分類、語言模型等深度學習任務，並與Adam、RMSProp等方法進行比較。
- 實驗結果顯示，AMSGrad確實克服了Adam不穩定收斂的缺點，在訓練過程中表現出更穩定的損失下降，達到等同或更優的最終準確度。
- 在部分問題上，AMSGrad能顯著降低訓練過程中的波動，提升模型的泛化能力。
- 此外，AMSGrad在收斂速度上並無明顯犧牲，相較於Adam帶來的穩定性增強，有效提升了優化效率。
對 AI 領域的深遠影響
Adam優化器的普及使其成為深度學習研究與應用的基石之一，但此前缺乏嚴謹的理論收斂證明一直是一大隱憂。Reddi等人藉由揭露Adam的潛在問題並提出AMSGrad，不僅從理論上填補了這一空白，更為開發出更有效且有理論保證的優化方法指明了方向。
從此，學術界與工業界便開始在Adam基礎上探索增加「長期記憶」的設計，進一步促成了Adaptive Gradient系列優化器的理論完善與實務突破。AMSGrad的提出激發了後續大量優化器設計思路，例如如何平衡短期精準調整與長期趨勢保留，成為優化研究中的重要議題。
此外，該論文在提出反例並透過數學嚴密分析優化演算法時展現的嚴謹作風，也提高了整個機器學習社群對於理論基礎的重視，促使研究者不再僅憑實驗結果判斷演算法優劣，而是結合理論分析進行深度理解。
綜觀整體，《On the Convergence of Adam and Beyond》在優化理論、方法設計與實務應用多層面都具突破性貢獻。對於AI工程師與研究生來說，熟悉此論文的洞見，有助於深化對自適應優化方法的本質認識，並在開發或改良深度學習系統的過程中，選擇與設計更具穩定性與效能的訓練策略。
論文資訊
📄 On the Convergence of Adam and Beyond
👥 Reddi, Kale, Kumar
🏆 ICLR 2018 · Best Paper
🔗 arxiv.org/abs/1904.09237
沒有留言:
張貼留言