Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

在現代機器學習特別是深度學習與強化學習領域，演算法性能大幅提升往往仰賴高效且精確的梯度估計方法。Unrolled computation graphs（展開計算圖）提供了一種靈活架構，使得模型參數可經過多步模擬或優化過程的展開，進而利用反向傳播計算梯度，典型應用如元學習（Meta-learning）、長期強化學習（Long-horizon RL）及神經微分方程（Neural ODEs）等。這類模型雖強大，卻同時帶來梯度估計的挑戰，包含計算負擔重與偏差問題。

本篇由Vicol, Metz及Sohl-Dickstein於ICML 2021發表、榮獲Outstanding Paper的論文〈Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies〉，針對上述問題提出一種新的梯度估計方法Persistent Evolution Strategies (PES)，提供不帶偏差的梯度估計，解決傳統展開計算圖梯度估計中所面臨的偏差與高方差困境。

研究背景與動機

展開計算圖的梯度估計問題核心在於要在多步模擬的過程中有效取得模型參數對最終目標的敏感度。舉例來說，元學習中，模型在內層迭代中頻繁更新參數，外層優化則需要透過展開步驟的反向傳播計算其梯度；而強化學習中，有長期時間跨度的決策序列，需要估計行為策略在未來長期回報上的影響。

然而，傳統自動微分的一大限制是展開步數限制，一旦展開過長，便難以進行反向傳播（如因記憶體限制），或是折返步驟間梯度因連鎖相乘而消失/爆炸。此外，黑盒優化方法如Evolution Strategies (ES)能對非可微或難以反向微分的計算過程提供無偏梯度估計，但其本身通常在多步依賴場景中方差極大，且不適合長時間序列推斷。

因此，這篇論文的動機在於結合ES的無偏性和展開圖的多步依賴結構，設計一個可以在超長展開過程中持續追蹤且保有無偏估計能力的方法，使梯度估計既準確又可行。

核心方法與創新

本論文提出的Persistent Evolution Strategies (PES)核心在於：

• 長期保持隨機擾動：傳統ES在每次計算時會重新抽樣隨機噪聲導致方差增加，PES則在整個展開過程中持續追蹤同一組隨機擾動序列，藉此減少估計方差並保留無偏性。
• 利用遞迴式梯度更新公式：作者推導出一套基於ES的遞迴梯度估計過程，可在線性複雜度內實時計算多步展開的無偏梯度估計。
• 可平行化且節省記憶體：相較於傳統反向傳播需存儲整個計算圖狀態，PES不需儲存中間狀態，分析顯示其所需記憶體與時間在展開步數增加時呈線性增加且可透過多線程優化平行計算。

方法中包含以下幾個數學關鍵點：

1. 對參數空間引入隨機正態擾動，形成隨機估計梯度的基礎。
2. 針對多步展開計算過程中，加入擾動後的反饋訊號透過特殊的權重調整收集全部時間步的效應。
3. 運用步驟隨機性與時間序列結構，排除由特定取樣噪聲帶來的偏差，保證期望梯度準確無偏。

此結構能同時兼顧無偏差和較低方差，這在過去舊有ES方法難以達成，是研究上重要突破。

主要實驗結果

為驗證PES方法效用，作者針對多個挑戰性的任務進行廣泛評估：

• 元學習：在MAML（Model-Agnostic Meta-Learning）框架下，PES在長時間展開的內層梯度計算中展現出更穩定且精確的梯度估計，提升了最終外層優化的性能。
• 強化學習：在包含延時回報（Delayed Rewards）和長期依賴的控制任務中，PES透過無偏估計提供了顯著更好的學習效率與策略表現。
• 神經微分方程：處理神經ODE這類可展開成連續迴圈結構的問題時，PES同樣以低記憶體消耗與具競爭力的性能，展示其廣泛適用性。

整體來看，PES較傳統重新取樣的ES方法，有明顯的方差下降與穩定性提高，且與直接反向傳播相比，在長時間展開場景下因記憶體和計算受限被限制的問題，有突出的表現。

對 AI 領域的深遠影響

本論文提出的Persistent Evolution Strategies開闢了一條全新的無偏梯度估計路徑，彌補了傳統展開計算圖方法在計算資源和梯度偏差間的鴻溝。具體意義包括：

• 推動元學習與強化學習研究：這兩個領域經常面臨長期依賴與展開步數過多的挑戰，PES讓模型能在更長的計算序列中取得正確梯度，提高學習穩定性與最終效能。
• 促進非可微、黑盒模型優化：在不易取得解析梯度的複雜系統、模擬器或有隨機性的系統中，PES引入一種新型無偏的、可平行且節省資源的梯度估計方法。
• 激發後續優化方法設計：以PES為基礎，未來可能研發出更多符合大規模、高效能需求的梯度估計器，加速可微優化與黑盒優化的融合。
• 實務面應用廣泛：從機器人控制、智能決策、金融分析到自適應系統，凡是長序列決策與需多步優化的任務，都可因PES法而變得更有效率且穩健。

總結來說，該論文突破了多步展開計算過程中無偏梯度估計的技術難題，為連續優化和序列學習提供了一套革新性解決方案。這不僅提升了AI模型訓練的穩定度和效率，也為後續多領域的算法研究與工程實踐奠定重要基礎。

---

論文資訊
📄 Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies
👥 Vicol, Metz, Sohl-Dickstein
🏆 ICML 2021 · Outstanding Paper
🔗 arxiv.org/abs/2112.02434