Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

在現代深度學習與強化學習中，許多模型的訓練過程涉及「展開計算圖（Unrolled Computation Graphs）」的技術，這類模型包括深層遞迴網路、元學習（meta-learning）、神經微分方程（neural ODEs）以及許多內部包含漸進優化過程的架構。這些模型通常需要對一連串的漸次狀態做反向傳播來計算梯度，然而當展開的步數變長時，梯度估計容易遭遇偏差（bias）、高方差（variance）或計算成本過高的問題。ICML 2021 年 Vicol, Metz 以及 Sohl-Dickstein 三位作者所提出的論文《Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies》精闢解決了上述挑戰，榮獲該屆會議的「Outstanding Paper」獎項。

研究背景與動機

在許多深度學習任務中，我們經常需要透過「內迴路」優化（inner-loop optimization）來達成目標，例如元學習中的快速適應、策略優化中的長期模擬、以及透過展開多步迭代解決難優化問題的情況。這類問題的核心挑戰是如何準確且高效地估計「展開計算圖」的梯度，但在長時間（長展開步數）迭代時，反向傳播會面臨梯度消失或爆炸，且計算資源與記憶體需求也大幅增加。此外，基於反向傳播的梯度估計常因截斷多步或使用近似方法而產生偏差，影響最終模型品質與收斂速度。

為了解決以上問題，研究者嘗試採用「演化策略（Evolution Strategies, ES）」作為無偏的黑盒優化方法，能避免純反向傳播的困境。然而傳統 ES 的應用在高維參數空間與需要長期迭代的展開計算圖中，常常因為探索的限制及方差過大，導致樣本效率低落。本文的重要動機即在於提出一種能同時保有低偏差、低方差且計算可行的梯度估計方法，能有效應對深度展開梯度計算中的困難。

核心方法與創新

作者提出的關鍵創新名為「Persistent Evolution Strategies（持續演化策略，PES）」。PES 結合了演化策略的無偏性與記憶歷史噪音累積的特性，彈性地維持對整個展開過程中隨機擾動的長期追蹤。傳統 ES 在每一次梯度估計時重新抽樣，全然獨立，缺乏跨時步的持續性，反而增加估計方差。PES 則利用持續追蹤噪音變量，藉此在不同時間點間共享噪音資訊，有效降低估計的方差及計算複雜度。

技術上，PES 對展開計算圖的狀態空間施加持續性的隨機擾動，配合反向傳播結合演化策略的無偏梯度估計機制。這種方法不僅保證了梯度估計的無偏性，還使得在長期展開時可持續穩定地利用歷史信息來抑制方差增長，且不需存取整個展開過程的所有中間狀態，極大降低了記憶體與運算負擔。此外，PES 保持了樣本效率，與純 ES 及傳統反向傳播展開方法相比，有著更優的梯度品質。

主要實驗結果

論文在多種典型範例上展示了 PES 的功效與優勢。實驗涵蓋了長期展開的優化任務、元學習基準測試，以及使用神經微分方程解的參數估計。研究團隊詳細比較了 PES 與常見的基準方法如截斷式反向傳播（Truncated Backpropagation Through Time, TBPTT）、傳統演化策略以及其他無偏或低偏估計方法。

結果顯示，PES 在展開步數增加時依然能保持穩定且無偏的梯度估計，不僅顯著減少方差，還在樣本效率與最終任務效能上展現優異表現。在某些案例中，PES 甚至能達到比純反向傳播更好的收斂速度與模型泛化能力。此外，PES 對記憶體的需求較低，適合用於訓練極長展開或需要分布式訓練的複雜模型，展現極高的實用價值。

對 AI 領域的深遠影響

該論文所提出的 Persistent Evolution Strategies 方法在 AI 研究領域具有多層面的影響意義。首先，它有效解決了分段展開計算圖在長期優化中的梯度估計難題，突破了梯度偏差與方差的瓶頸，對元學習、深度遞迴模型及神經微分方程等熱門領域有著廣泛影響。研究者與工程師因此能更可靠地訓練更深層、更長期的模型序列，提高模型在少量數據下的快速適應能力與複雜系統的模擬準確性。

其次，PES 所強調的「持續追蹤噪音」與「跨時步共用隨機性」的策略，為將來在隨機梯度估計、強化學習策略優化等領域中探索更高效無偏梯度估計方法提供了新的思路。尤其是在高維度參數空間以及複雜非線性系統中，PES 能減少對記憶體與計算資源的依賴，推動結合深度強化學習與元學習的跨界應用。

最後，該研究亦促使 AI 訓練理論向更細緻的無偏梯度估計邁進，打破了傳統以偏差-方差權衡為核心的優化方法限制，開啟新一代基於隨機策略的智能系統訓練方式。長期來看，Persistent Evolution Strategies 技術可望成為訓練深度遞迴結構、神經控制系統、以及多步決策機制的基礎技術，推動 AI 系統在動態環境下的穩健性與韌性。

總結而言，Vicol 等人於 ICML 2021 發表的本篇論文，透過 Persistent Evolution Strategies，成功帶來了展開計算圖梯度估計的無偏且低方差的新型方法，解決了長期膨脹展開過程中普遍面臨的技術瓶頸，並憑此在頂會獲得肯定，對深度學習與強化學習的理論與實務均有重要推動作用。

---

論文資訊
📄 Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies
👥 Vicol, Metz, Sohl-Dickstein
🏆 ICML 2021 · Outstanding Paper
🔗 arxiv.org/abs/2112.02434