Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

在深度學習與強化學習領域中，許多優化問題牽涉到「未展開計算圖」（unrolled computation graphs）的梯度估計。這種問題常見於需要根據內部迭代或循環結構來計算梯度的場景，如元學習（meta-learning）、超參數優化（hyperparameter optimization）、RNN 或神經微分方程（neural ordinary differential equations, ODEs）等。傳統的反向傳播算法雖能精確計算梯度，但在計算複雜度與記憶體需求上往往十分昂貴，且隨著迭代步數增加，梯度的方差問題也逐漸惡化，導致優化過程不穩定。

為了克服這些限制，2021 年 ICML 上由 Vicol、Metz 與 Sohl-Dickstein 提出的論文《Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies》提出了一種全新的基於演化策略（Evolution Strategies, ES）的持續性梯度估計方法，成功解決了未展開計算圖中梯度估計的偏差問題，同時有效降低了梯度的變異性，並兼具計算效率與理論嚴謹性，因而獲得該屆會議的傑出論文獎。

研究背景與動機

在許多實際應用中，我們需要透過一系列的迭代動作來調整參數，並最終對整段流程產生的總損失函數求導。這種「未展開計算圖」的設計常包含大量的中間狀態與隱藏參數，透過反向傳播展開計算能夠求得精確梯度，但其代價高昂且常會因為迭代深度導致梯度消失或爆炸。此外，反向傳播在某些環境（例如強化學習中的黑盒環境）難以直接應用，而基於擾動的估計方法如演化策略則更通用，因其不依賴計算圖結構。

但傳統的演化策略梯度估計通常存在偏差，且在涉及未展開的計算圖時，如何保證估計梯度的無偏性及控制其方差成為一大挑戰。尤其是在存在大量參數與長鏈依賴的情況下，傳統 ES 方法下的梯度估計偏差會累積，學習效率首當其衝受到影響。

核心方法與創新

本論文的核心創新即在於提出「持續性演化策略」（Persistent Evolution Strategies, PES），一種可針對未展開計算圖進行無偏且低方差梯度估計的方法。與傳統 ES 直接在整個 rollout 結尾採樣擾動並估計梯度不同，PES 持續透過參數空間的高斯擾動來累積信息，並將擾動引入於所有時間步長，從而利用歷史擾動來形成更準確的梯度估計。

具體而言，PES 使用一維的序列高斯噪聲過程來描述參數擾動，並且在整個未展開計算過程中持續採樣與更新。這種機制等同於一種嵌套的複合隨機過程，能夠從多個時間步長的擾動中同時提取梯度信息，不會像傳統演化策略那樣因為只在最終 step 採樣而引入扭曲。在數學推導上，作者依靠概率論與隨機微分方程的工具嚴格證明了 PES 梯度估計是無偏的，並且對其方差給出了上界分析，證明 PES 在計算效率與估計精確度間實現了良好的折衷。

此外，在實際工程實現上，PES 程序中只需要儲存先前擾動及相應狀態，無需額外展開完整計算圖，顯著節省記憶體與計算資源。這使得 PES 方法特別適合於需要長時間演化或微調的場景，並且容易與現有模型訓練框架集成。

主要實驗結果

論文在多個經典基準任務上驗證了 PES 的實用性與優越性，其中包括受控的元學習任務、基於疊代優化的超參數調整，以及部分強化學習環境。在這些實驗中，PES 相較於過去常用的演化策略、隨機梯度估計方法展示了更穩健、更快速的收斂速度和更低的梯度估計方差。

例如，在一個基於長程依賴的優化任務中，傳統 ES 往往因估計偏差導致收斂速度緩慢，甚至陷入局部最優。相對地，PES 利用其無偏估計，成功地克服了梯度估計的偏差問題，最終完成更精確的優化。此外，PES 在處理稀疏獎勵的強化學習環境中，表現出比梯度截斷或基於重參數化的方法更好的樣本效率與穩定性。

對 AI 領域的深遠影響

本論文提出的持續性演化策略是對傳統基於擾動的黑盒優化方法的一大突破，尤其在未展開計算圖的梯度估計領域中開創了新篇章。其核心思想將計算過程視為一個連續時間的隨機過程，並在此之上推導無偏且高效的梯度估計，為處理長期依賴、複雜非線性動態系統帶來了理論與工程上的雙重福音。

對元學習研究者而言，PES 大大降低了計算圖的展開深度限制，使得開發更深層次的優化算法成為可能。對強化學習社群，PES 提供了一種穩健的梯度估計工具，避免了依賴於可微環境模型的限制，推動模型無關的黑盒優化向前邁進。對優化本身而言，這種持續性演化策略可被視為結合隨機控制理論與機率建模的橋梁，未來可望激發更多跨領域技術與理論的融合。

綜合而言，《Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies》不僅在理論上填補了未展開計算圖中演化策略偏差的空白，更因其強大的實驗性能而獲得業界認可。此論文的思想與方法勢必成為未來元優化、強化學習、神經微分方程和其他需處理長序列梯度估計問題研究的重要基石，推動 AI 優化與訓練技術持續演進。

---

論文資訊
📄 Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies
👥 Vicol, Metz, Sohl-Dickstein
🏆 ICML 2021 · Outstanding Paper
🔗 arxiv.org/abs/2112.02434