Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

隨著深度學習技術的快速發展，許多模型的訓練過程涉及複雜且深層的「展開計算圖」（unrolled computation graphs），例如在元學習（meta-learning）、強化學習（reinforcement learning）、結構化優化等領域。展開計算圖的梯度估計通常面臨高方差與偏差的困境，這直接影響到模型的收斂效率與泛化能力。ICML 2021 年獲獎論文《Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies》由Vicol、Metz與Sohl-Dickstein合著，提出了一種全新的無偏梯度估計方法——持久演化策略（Persistent Evolution Strategies，簡稱 PES），有效解決了傳統方法中梯度估計的偏差問題，為展開計算圖的優化開辟了新方向。

研究背景與動機

在許多高階 AI 任務中，如元學習或需內循環優化的模型訓練，通常會構建「多層的內部優化過程」，這會形成長度不定、形態複雜的展開計算圖。傳統梯度回傳方法（如反向傳播）直接計算這些展開圖的精準梯度，幾乎不可行或計算成本極高。因此，研究者嘗試透過蒙地卡羅方法、無梯度優化等手段來估計梯度，典型的作法是演化策略（Evolution Strategies，ES）或截斷反向傳播（truncated backpropagation）。然而，現行方法普遍面臨兩大挑戰：

• 偏差（Bias）問題：為了節省計算資源或減少方差，常常在展開圖中截斷回傳，這導致估計梯度帶有偏差，進而損害模型訓練效果與收斂。
• 計算資源浪費：完整展開計算圖外加精確梯度計算，計算與記憶體成本巨大，不適合深度、長序列或多層優化流程。

因此，本論文動機在於「如何在有限計算預算下，獲得無偏且方差低的梯度估計」，以支持更複雜的模型訓練與結構化優化。

核心方法與創新

本論文的核心貢獻是提出「持久演化策略（Persistent Evolution Strategies, PES）」，這是一種基於演化策略的無偏梯度估計方法，適用於展開計算圖。這裡的關鍵想法與技術細節包括：

1. 保持演化策略中的隨機性狀態持續流轉：傳統演化策略在每次梯度估計時，都從零開始抽樣噪聲，而 PES 則在時間上「持續」追蹤該隨機噪聲過程，換言之，將噪聲的演化視為持續過程（persistent process）。這使得 PES 能夠將過去時間步的噪聲資訊累積利用，從而減少梯度估計的方差。
2. 無偏梯度估計保障：PES設計明確保證梯度估計式在數學結構上無偏，避免了截斷微分等近似方法造成的偏誤。作者嚴謹證明了該估計對目標損失函數的期望梯度是精確恢復。
3. 使用馬可夫隨機過程理論：論文透過馬可夫鏈理論剖析PES的動態，確保估計過程的穩定性與收斂性，這是前人缺乏的系統化理論基礎。
4. 適應展開計算圖結構特性：該方法專門設計用於展開計算圖模型架構，能有效應對相關依賴性與非線性特徵，極大提升了梯度信號的品質與訓練穩定度。

總結而言，PES 在方法論上融合了隨機最優化、無偏梯度估計與持續過程理論，結構化解決了展開計算圖優化中梯度估計的瓶頸。

主要實驗結果

為驗證持久演化策略的有效性，作者於多個合成及實務任務上進行實驗比較，包括元學習任務與模擬環境中強化學習的策略優化。主要發現包括：

• 無偏性與較低方差：透過對比傳統截斷反向傳播及標準演化策略，PES在梯度估計上展現幾乎無偏且方差顯著降低的特性，尤其在展開圖長度加深時更為明顯。
• 訓練效率提升：PES使得訓練過程中梯度更新更為穩定，收斂速度優於基準方法，能在相同計算預算下取得更好的最終性能。
• 拓展長期依賴的可行性：在處理長期依賴性強的展開計算圖時，PES減少了因為梯度截斷帶來的偏差，改善了元優化和強化學習中難以訓練的課題。

圖片與數據顯示，PES在元學習ITS問題中可取得比標準方法高約 10%-20% 的準確度提升，並且在多輪策略優化中維持梯度品質，顯著降低訓練不穩定性。

對 AI 領域的深遠影響

本論文的貢獻不僅在於提出了一種具體且理論上健全的無偏梯度估計框架，更重要的是打破了展開計算圖中長期以來「無法避免的梯度截斷偏差」困境。這在多層結構化訓練、自動微分複雜優化、元學習及強化學習等領域具有革命性意義：

• 推動元學習與自動優化技術進一步突破：具無偏性與低方差的梯度估計可使元優化更加可靠，促進模型在少量數據與多任務情況下快速適應與泛化。
• 優化展開計算圖相關深度結構的訓練流程：大幅降低訓練成本與複雜度，使得研究者可嘗試更深層、更複雜的內部循環模型設計。
• 促進無梯度優化方法的普及：PES方法的理論嚴謹與實驗證明，有助於將演化策略這類無需梯度的黑盒優化技術推向更多AI應用場景，如神經架構搜尋、參數空間探索等。
• 激發未來理論研究與實踐融合：透過結合隨機過程及馬可夫理論，PES為AI優化問題提供了新的理論視角，鼓勵學術界在更廣泛動態系統建模中加強無偏估計理論研究。

總結來說，《Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies》以堅實的理論和嚴謹實驗，為 AI 訓練過程中的梯度估計問題提供了革新的解決方案，預期將對複雜系統優化和深度模型訓練帶來長遠且根本的影響，是值得 AI 工程師與研究生深入學習的重要文獻。

---

論文資訊
📄 Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies
👥 Vicol, Metz, Sohl-Dickstein
🏆 ICML 2021 · Outstanding Paper
🔗 arxiv.org/abs/2112.02434