Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

在當前人工智慧與機器學習領域中，反向傳播（backpropagation）是訓練深度神經網絡的主流方法。然而，反向傳播需要明確且連續的計算圖關係，對於許多非標準、非微分或非連續的模型架構（如包含離散決策、顯式依賴先前狀態的反覆運算）而言，梯度的估計成為一大挑戰。

ICML 2021 年由 Vicol、Metz 和 Sohl-Dickstein 提出的論文《Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies》榮獲傑出論文獎，其核心貢獻正是針對這樣一個深具挑戰性的問題，提出了一套穩健且無偏的梯度估計方法，特別適用於「unrolled computation graphs（展開計算圖）」中。該方法基於演化策略（Evolution Strategies, ES）但引入了持續性機制（persistence），以實現更高效且無偏差的估計。

研究背景與動機

深度學習中，除了經典的前向與反向傳播計算圖，還存在許多必須展開的計算流程，例如循環神經網絡（RNN）、透過模擬器實現的環境互動、可微分規劃器甚至是強化學習中的未來狀態展開。對此類「展開計算圖（unrolled computation graphs）」，標準的梯度估計技術往往面臨困境：

• 反向傳播困難：若模型中含有非微分元件，傳統反向傳播無法準確估計導數。
• 計算與記憶瓶頸：長期展開會帶來巨大的計算圖，導致內存與計算資源消耗過大。
• 偏差估計問題：許多基於強化學習策略的梯度估計器（如策略梯度）可能存在系統性偏差，影響模型收斂與效果。

因此，本論文動機在於設計一種無需明確反向通路、能在展開計算圖中有效估計梯度且保持無偏差的新方法，進而推動複雜模型的學習與調校。

核心方法與創新

論文核心提出了Persistent Evolution Strategies（PES），是演化策略（ES）的一種演進版本。演化策略本質上是一種基於隨機擾動的黑盒優化方法，可以透過施加擾動並觀察輸出變化估計目標函數的梯度。傳統 ES 雖然對「黑盒」函數有效，但在長時間展開的計算圖中不易保持效率和無偏差。

PES 的創新包括：

• 持續性狀態維護：不同於每次估計都重新隨機擾動整個系統，PES 會持續追蹤一組隨機擾動「種子」作為系統狀態，使擾動在時間上具相關延續性，避免每步獨立采樣造成的高方差。
• 時間累積的梯度估計：藉由維持與更新擾動種子序列，PES 能夠在展開的多時間步中得出較精確且統計無偏的梯度估計，且計算效率更為優越。
• 理論保證：論文嚴格證明該方法對展開計算圖中整體目標函數的梯度估計是無偏的，且在多種設定下可持續收斂。

此外，PES 兼容不需要計算或儲存梯度的結構，適用範圍更廣，支持離散策略與不可微分模型，使其成為複雜智能系統訓練的有力工具。

主要實驗結果

論文在多個實驗場景中有效驗證了 PES 的優勢，這些場景涵蓋：

• 循環神經網絡（RNN）訓練：標準的 ES 通常在長序列上陷入高變異，導致學習不穩定，而 PES 則成功降低估計方差，提升收斂速度及模型效果。
• 強化學習策略調校：PES 可用來計算策略在較長展開時間步的梯度，顯著提升穩定性及樣本效率。
• 黑盒逆向問題：對未知函數的優化實驗中，相較於傳統 ES 與 REINFORCE 等基線方法，PES 表現出更低的偏差與更優的最終收益。

通過大量模擬與實際案例，PES 展現了更為穩定且無偏的梯度估計，尤其是在處理非符號微分和長期時間依賴的問題上表現卓越。

對 AI 領域的深遠影響

PES 方法對 AI 研究與應用領域帶來多方面的影響：

1. 擴展可訓練模型的範圍：傳統深度學習受限於模型必須可微，而 PES 讓非微分、非連續甚至包含離散決策的模型族脫離估計束縛，擴展了可訓練系統的多樣性與複雜度。
2. 強化學習及模擬器調校突破：在強化學習中，PES 為長期依賴的策略梯度估計提供了無偏與低方差的工具，改進探索效率與學習穩定度，並有助於將基於模擬器的訓練推向更大規模與更真實場景。
3. 促進無監督與自監督學習的深入發展：許多無監督方法依賴隱式或展開模型，PES 使其訓練能更有效且理論嚴謹，有助於未來更複雜的生成模型與自監督架構開發。
4. 啟發新型黑盒優化算法：PES 採用的持續性隨機擾動概念，在黑盒與零階優化方面具高度參考價值，對相關領域如神經架構搜索、超參數優化等產生啟發。
5. 理論與實踐並重的典範：該論文不僅提出新算法，同時給出了理論無偏證明與嚴謹實驗驗證，成為後續研究的堅實基礎。

總結來說，這篇榮獲 ICML 傑出論文獎的作品，突破了長期以來在展開計算圖中對無偏梯度估計的瓶頸，為複雜、動態且非微分系統的終端優化奠定了理論與實踐基礎。對於未來 AI 模型的靈活性與效率提升，將產生深遠且持續的影響。

---

論文資訊
📄 Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies
👥 Vicol, Metz, Sohl-Dickstein
🏆 ICML 2021 · Outstanding Paper
🔗 arxiv.org/abs/2112.02434