Learning-Rate-Free Learning by D-Adaptation

研究背景與動機

在深度學習與機器學習的訓練過程中，學習率（learning rate）扮演著極為關鍵的角色。一個適當設定的學習率能讓優化器有效且快速地收斂，反之則可能導致訓練停滯、震盪，甚至無法收斂。因此，如何選擇及調整學習率一直以來都是訓練深度模型的重要挑戰。現行方法通常需要人工調參，或者採用複雜的自適應學習率算法，但這些方法還是存在如下問題：

• 需要大量的超參數調節，導致訓練流程繁瑣且耗時。
• 部分自適應方法雖能自動調整學習率，卻可能帶來收斂速度上的額外多重對數因子（multiplicative log factors），無法達到理論上的最佳收斂率。
• 像是線搜尋或回退等技巧，雖能動態調整步長，但通常需額外的函數值或梯度評估，增加計算成本。

因此，開發一種「無需人工設定學習率，且理論上達到最優收斂速率」的學習率調控機制，成為機器學習優化領域亟需解決的一大問題。本文由Defazio與Mishchenko提出的「D-Adaptation」方案，即是在這個背景下誕生的突破性解決方案。

核心方法與創新

D-Adaptation的核心目標是自動「學習」或「適配」合適的學習率，且整個過程不依賴於超參數調節，也不需要額外的函數值或梯度計算。此方法適用於凸 Lipschitz 函數類問題，也就是優化對象在梯度變化上有明確且穩定的界限。

具體來說，D-Adaptation透過維護一個內部變量（稱為 D 變量）來「估計」合適的步長，以保證每一步的更新都能在理論最佳收斂率框架中進行。此方法不使用傳統的背蹤（back-tracking）或線搜尋（line search）來調整步長，省去了額外的計算開銷。

最重要的是，這種方法在收斂速度上無需引入過多的多重對數項，這是過往非超參數方法難以克服的瓶頸。換句話說，D-Adaptation是首個在此類凸 Lipschitz 問題上，且無超參數且不用額外計算的情況下，同時能達成理論最優收斂速率的方法。

此外，作者將D-Adaptation框架應用於經典的優化演算法，如隨機梯度下降（SGD）及Adam，推出相應變體。這兩種是目前深度學習最主流的優化器，能保證D-Adaptation的普適性與實用價值。

主要實驗結果

實驗部分，Defazio與Mishchenko在十多個不同的機器學習任務中測試了D-Adaptation。涵蓋範圍廣泛，包括大型視覺識別任務和語言模型訓練，這兩大領域的代表性任務對優化器的效能要求極高。

實驗結果顯示，D-Adaptation不但能夠自動匹配或超越人工調整過的學習率設定，還能保持訓練的穩定性。對比傳統需要艱難調參的學習率策略，D-Adaptation大幅減少了人為干預的需求，優化流程更為自動化且高效。

同時，作者也披露了公開的開源實作，使得社群能直接採用並進一步驗證此方法在各種場景下的應用價值。

對 AI 領域的深遠影響

D-Adaptation在優化學習率這一根本問題上的突破，具有多方面重要意義：

• 自動化訓練流程：無需人工再花大量時間調參，提升模型訓練效率，尤其適合於超大規模模型和複雜任務。
• 理論與實務的結合：這個方法在理論上已被證明能達到最佳收斂速率，並且通過大規模實驗驗證可行，促進理論優化算法與深度學習實務的融合。
• 提升模型泛化能力：合理的學習率適配機制有助於模型在訓練過程中更好地捕捉問題本質，潛在提升模型泛化性能，降低過擬合風險。
• 促進算法普及與應用：開源的D-Adaptation實現降低了使用門檻，能快速被產業界和學術界採納，從而推動更多新應用落地和創新。

綜合而言，D-Adaptation不僅回應了長久以來優化器對學習率調控的痛點，更為未來優化演算法的設計提供了全新思路，有望引領下一代無需人工調參的高效訓練框架，使人工智慧技術的發展更加自動化與智慧化。

---

論文資訊
📄 Learning-Rate-Free Learning by D-Adaptation
👥 Defazio, Mishchenko
🏆 ICML 2023 · Outstanding Paper
🔗 arxiv.org/abs/2301.07733