Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

在現代深度學習與優化領域中，複雜模型的訓練往往依賴於可微分的計算圖（computation graph），以便使用梯度下降等方法進行參數更新。然而，在某些應用中，如「未展開（unrolled）」的計算圖，精確且無偏的梯度估計變得異常困難，尤其是當計算過程中含有非連續性或隨機過程時。ICML 2021 年的獲獎論文《Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies》由 Vicol、Metz 與 Sohl-Dickstein 提出一種創新的基於持續演化策略（Persistent Evolution Strategies, PES）的梯度估計方法，成功解決了未展開計算圖中無偏差梯度估計的難題，並展現了顯著優於傳統技巧的數值表現。

研究背景與動機

對於包含循環與非平滑運算的計算圖，如元學習（meta-learning）、神經網絡結構優化（neural architecture search）及可微優化器訓練等任務，標準的自動微分往往無法直接獲得正確的梯度。傳統的解決方案是「展開計算圖（unrolling）」，即將循環或遞歸的操作完全攤平成序列，並對所有時間步使用鏈式法則計算梯度。然而，隨著展開長度加深，不僅計算與記憶成本膨脹，梯度也可能因數值不穩定導致偏差累積。此外，計算過程中，如存在非可微分操作或隨機性，直接使用反向模式自動微分便失效，必須依賴基於隨機估計的黑盒梯度方法，如演化策略（Evolution Strategies, ES）等。

演化策略是一種不依賴問題梯度信息、通過對參數加隨機噪聲、估計函數期望變化所驅動的優化算法。該方法在高維參數空間強健，且方便融入非平滑操作，但其主要挑戰是估計的梯度含有高方差且存在偏差，尤其是在計算圖較深長或動態變化時效果欠佳。當前文獻中，如何在未展開的長計算圖中設計無偏且低方差的梯度估計器，一直是難解的問題。

核心方法與創新

作者提出了名為「持續演化策略（Persistent Evolution Strategies, PES）」的新穎方法，突破了使用標準演化策略在未展開計算圖中 gradient estimation 的瓶頸。其核心思想是：

1. 延續隨機噪聲的影響：傳統 ES 在每次函數評估時，對參數加獨立噪聲，導致梯度估計彼此獨立且方差較大。PES 則將噪聲向量延伸為一個隨時間持續演化的過程，讓噪聲對計算圖序列的影響帶有時間上的連續性，使得梯度估計能更準確地捕捉計算過程中的動態變化。
2. 無偏梯度估計證明：論文嚴謹地推導了該方法生成的梯度估計是無偏（unbiased）的，並且在數學上克服了未展開長序列中梯度偏差的積累問題。這是該方法相較於以往演化策略在理論上最大突破。
3. 低方差且可計算性好：透過對噪聲的時序相關設計，PES 不僅能保持估計無偏，還能有效降低方差。此外，由於不必展開整個計算圖，計算與記憶效率顯著提升，適合長序列或高維度場景的實務應用。

具體來說，PES 將演化策略中的噪聲定義為馬可夫過程，使得計算圖中每個時間步加入的噪聲依賴於前一時間步的噪聲。這樣，梯度的估計自然映射至對噪聲序列的偏導，進而利用鏈式法則得到整體參數的無偏估計。透過推導，作者展示了 PES 在隨機計算圖的框架下，能正確捕捉全局梯度信息，並大幅擴充了可微分編程的適用範圍。

主要實驗結果

作者在多個挑戰性任務中評測 PES，包括使用未展開計算圖的元學習問題、模擬理論物理中的偏微分方程求解、以及可微分神經網絡結構搜尋等。實驗顯示：

• PES 相較於傳統 ES 可顯著降低梯度估計的方差，並保持無偏，改善了優化穩定性與收斂速度。
• 在元學習等對展開長度敏感的任務中，PES 的表現明顯優於基於截斷展開與重參數技術的方法，並且能處理無法直接反向求導的情境。
• 在結構搜尋等神經網絡設計問題中，PES 幫助找到更優參數組合，展示了該方法在工程應用端的價值。

此外，作者提供的理論分析和實驗驗證完美匹配，進一步證明 PES 方法的通用性與有效性。

對 AI 領域的深遠影響

本論文最大的貢獻在於提供了一套數學嚴謹且可實踐的無偏梯度估計方法，克服了長序列未展開計算圖中梯度估計偏差和高方差的經典難題。這不僅推動了元學習、可微優化器學習、結構優化等領域的發展，同時擴展了演化策略在深度學習與優化中的理論基礎與應用場景。

由於深度學習模型日益複雜，且硬體限制令完美展開計算圖不切實際，PES 提供了在有限計算資源下仍能獲得準確梯度信號的關鍵技術，代表了一種有效連接黑盒優化和可微分編程的橋樑。此外，該方法適用於含隨機性與非光滑運算的任務，對增強 AI 系統的泛化能力和穩定訓練具有重要意義。

未來，PES 有潛力推動強化學習中策略梯度估計、神經網絡自動結構探索、甚至是物理仿真與可微分模擬等多個前沿領域的技術進步。其理論創新和實驗成就已被業界與學術界廣泛關注與採納，成為當代計算圖優化的標竿之作。

總結來說，《Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies》論文提供了一種切實可行且數學嚴謹的解決方案，突破了長序列計算圖梯度估計的瓶頸，為 AI 研究中複雜模型的優化帶來了新的思路和強有力的工具。

---

論文資訊
📄 Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies
👥 Vicol, Metz, Sohl-Dickstein
🏆 ICML 2021 · Outstanding Paper
🔗 arxiv.org/abs/2112.02434