Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

隨著深度學習技術的蓬勃發展，許多複雜模型採用「展開計算圖（unrolled computation graphs）」來解決序列決策、元學習（meta-learning）、神經微分方程（Neural ODEs）等問題。這類模型通常透過多次迭代或時間步長的展開，將內部狀態依序串連起來，形成一個深層計算結構。然而，這類結構的梯度估計過程往往面臨高方差、記憶體消耗大且偏差估計等挑戰，使得優化變得困難。ICML 2021 年 Vicol、Metz 與 Sohl-Dickstein 所提出的論文《Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies》即針對這些問題提供了一項創新解決方案，並榮獲該年度的 Outstanding Paper 獎項。

研究背景與動機

展開計算圖廣泛應用於多種 AI 領域，包括：神經架構搜尋、強化學習中的策略優化、元學習中的快速適應機制，以及解決微分方程的神經網路方法。這些問題核心皆圍繞著「該如何有效且準確地計算隨時間或層數展開的梯度」，讓模型能夠透過反向傳播（Backpropagation through time）進行優化。

然而，經典的反向傳播在展開計算圖中存在三大挑戰：

• 梯度計算需要保存整個展開期間的中間狀態，導致巨大的記憶體需求。
• 梯度反傳過程容易產生梯度消失或爆炸問題，影響優化穩定性。
• 當展開層數過大時，求解精確梯度過於昂貴，不少研究嘗試用無偏或有偏的有限差分、演化策略演算法（Evolution Strategies, ES）來替代，但多數方法會陷入偏差與高方差的困境。

因此，促使本論文作者設計一套能產生無偏且低方差的梯度估計器，並能有效應對展開層數增加帶來的問題，達成可持續訓練的目標。

核心方法與創新

本論文的核心貢獻是提出一種稱為「Persistent Evolution Strategies（PES）」的方法，擴展傳統演化策略用於展開計算圖梯度估計的能力。傳統演化策略基於群體樣本對參數施加隨機擾動，再透過擾動後的效用函數差值估計梯度，其本質無需計算反向傳播，具備結構簡單、可平行的優點，但通常在深度或時間軸展開很長時，方差會嚴重增加，且需重複重啟過程，不利於長期訓練。

PES 的關鍵創新在於：

• 持續性（Persistence）： 採用一種連續性維護的梯度估計過程，避免每次更新都從頭採樣擾動向量，而是透過對擾動路徑進行累積與遞迴更新，降低方差並提升梯度估計的穩定性。
• 結合展開計算圖特性： 利用展開結構本身的時間關係，PES 將過程視為一個隨機過程的演化，並在時間上持續追蹤改變，使梯度估計能隨時間流動更平滑地進行調整。
• 無偏估計保障： 作者嚴格證明該方法在數學上具備無偏性，保證了估計梯度在期望上的正確性，這對展開層數較長的模型而言相當重要，確保優化的有效性。

此方法在概念上類似於利用馬可夫鏈蒙地卡羅（MCMC）概念，對擾動的採樣採取「持續演化」式的設計，避免過度重啟和方差過大，使得梯度估計能突破傳統演化策略的瓶頸。

主要實驗結果

作者在多種典型問題中驗證了 PES 的優勢：

• 合成物理系統參數辨識： 透過一組代表性的案例，與傳統 ES 和反向傳播相比，PES 在長期展開的梯度估計上顯著降低了方差，提升了訓練效率與穩定性。
• 神經微分方程（Neural ODE）訓練： PES 提供無偏且穩定的梯度估計，使得長時間步驟的神經微分方程模型能更加有效優化，克服了反向求導在時間長度過大時常見的梯度衰減問題。
• 強化學習中的策略優化： PES 不依賴環境內部模型，透過無偏探索梯度提升策略性能，尤其在序列決策的長期依賴問題上表現出色。

整體而言，PES 在多項任務中均展現出優於現有演化策略基準的表現，達成低偏差、高效且穩定的展開計算圖梯度估計。

對 AI 領域的深遠影響

本論文的貢獻提供了一條破解「展開計算圖梯度估計」難題的創新路徑。傳統上，此類問題常因計算資源與估計偏差受限，使得許多長序列展開的模型難以直接優化。PES 則以無偏且穩定的梯度估計，開啟了下列可能性：

1. 減少對反向傳播的依賴，使得深度或長時間展開的神經網路結構得以更高效訓練。
2. 為元學習、神經微分方程和基於展開計算圖的強化學習任務，提供更穩健且易於擴展的優化方法。
3. 降低模型訓練過程中的記憶體瓶頸與計算複雜度，促進更大規模、更深時間尺度的模型實驗與應用。
4. 理論上推動對演化策略在隨機過程中的連續演化理解，促成未來類似方法的發展與革新。

總結而言，Vicol 等人提出的 Persistent Evolution Strategies，不僅是一種純技術性的創新，更是一種視角上的突破，讓研究者可以重新思考「梯度估計」在複雜計算圖中的本質邏輯與方法設計。此成果對推動長序列建模、強化學習策略優化及新型神經網路架構的發展均具深遠而持久的影響力。

---

論文資訊
📄 Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies
👥 Vicol, Metz, Sohl-Dickstein
🏆 ICML 2021 · Outstanding Paper
🔗 arxiv.org/abs/2112.02434