Non-delusional Q-learning and Value-iteration

在強化學習 (Reinforcement Learning, RL) 領域中，Q-learning 作為一種經典且廣泛應用的無模型控制方法，長期以來深受研究者關注。儘管Q-learning及相關的值迭代 (Value Iteration) 演算法在理論與實務上皆已展現出高度效能，然而在許多實際應用與理論分析中，仍存在一個被稱為「錯誤期望」 (delusion) 問題：演算法過度依賴於對當前估計值的過度樂觀預測，導致值函數更新錯誤，被稱為「非真實 (delusional)」估計的現象。

針對上述問題，Lu 與 Schuurmans 於 2018 年在 NeurIPS 發表的論文《Non-delusional Q-learning and Value-iteration》榮獲最佳論文獎，提出了一種全新的框架與演算法設計，釐清並解決 Q-learning 和值迭代中的錯誤期望問題，這不但深化了 RL 理論的基礎，也為後續研究在穩定性與收斂性方面提供了重要助力。

研究背景與動機

強化學習的核心挑戰之一是「估計與控制的相互依賴」：在無模型的設定下，演算法必須一邊估計狀態-行動價值函數 (Q函數)，一邊利用估計出的值函數指導行動選擇。但傳統的 Q-learning 演算法在更新過程中使用了最優化的期望值估計，這些估計基於目前的不完全或偏差的值函數，導致其可能過度高估某些狀態-行動對的價值。

這種過度估計問題不僅削弱演算法的學習效率，更在理論上使得 Q-learning 的收斂性分析複雜化。先前研究如 Double Q-learning 嘗試通過雙重估計減緩此問題，但並未從根本理論層面完全消除錯誤期望的產生機制。此時，深層理解「非真實」估計的成因與影響，並提出具備數學嚴謹性和實務可行性的解決方案，成為 Lu 與 Schuurmans 研究的核心動力。

核心方法與創新

本論文的第一項重大貢獻在於系統性地定義「非真實 (delusional)」估計的數學框架。作者指出，傳統 Q-learning 的更新步驟中存在一種「內部偏誤」，即估計函數的更新依賴於在同一輪次中更新前的已偏誤函數，導致錯誤的期望值累積。這種偏誤是一種自我反饋失真，使得估計過程無法保證符合正確的貝爾曼期望操作。

為此，作者提出「非錯誤期望 (non-delusional)」的 Q-learning 與值迭代方法。在更新過程中，他們引入了一個新的匹配條件，要求 Q 函數的估計必須「一致地」滿足貝爾曼期望，杜絕自身回饋導致的錯誤。具體來說，作者設計了一個投影操作，使得 Q 函數在每次更新時都投影回一個「非錯誤期望」的子空間，此空間中的函數估計不會被未定義或錯誤的期望操作所污染。

更進一步，論文中提出了 Non-delusional Q-learning 的演算法實現，其策略為：在每一次迭代中，先使用當前估計的值函數計算目標值，接著將這些目標值投影至非錯誤期望子空間，保證更新後的 Q 函數不會產生不合理的過度估計。此設計突破了傳統 Q-learning 在理論上無法證明收斂的一大瓶頸，並且在值迭代框架內也能被引入以增強穩定性。

主要實驗結果

作者在多個經典的強化學習環境中，包含標準的離散式馬可夫決策過程 (MDP) 以及部分連續空間的測試中，評估非錯誤期望 Q-learning 與傳統 Q-learning 以及 Double Q-learning 等基準的表現差異。實驗結果顯示：

• Non-delusional Q-learning 在收斂速度上明顯優於傳統 Q-learning，尤其在環境回饋嘈雜或狀態空間較大時，能保持較低的估計偏差；
• 演算法在避免 Q 值過高估計的同時，仍能有效探索並逼近最優策略，展現出良好的策略質量；
• 該方法在多種 MDPS 中均能維持策略穩定，減少在中途因估計錯誤導致的性能退化現象，顯示理論與實踐的高度契合。

此外，作者透過分析投影操作與演算法迭代動態，進一步驗證了提出方法的理論收斂證明，這在過去的 Q-learning 理論中是一大突破。

對 AI 領域的深遠影響

Lu 與 Schuurmans 的這篇論文不僅在強化學習的理論深度層面取得重大突破，更對應用層面帶來實質價值。其核心思想——避免估計過程中的非真實錯誤期望，強化了 RL 算法的穩定性與可解釋性，為後續包含深度強化學習 (Deep RL) 和安全強化學習領域奠定了更扎實的基礎。

在深度強化學習的實務應用中，由於函數逼近的複雜性，估計偏差問題更加顯著，這導致了一系列如策略不穩定、訓練不收斂等問題。Non-delusional Q-learning 的理論基礎與演算法框架，為設計更穩健的深度 RL 演算法提供了理論指引與新思路。此後，相關研究也紛紛從錯誤期望控制的角度改進演算法，提升了訓練過程中評估與優化的可靠性。

此外，本論文凸顯了演算法設計中「估計誤差的結構化控制」之重要性，促使研究者更重視如何從數學上嚴謹定義與限制強化學習演算法的搜索空間與更新機制，以確保學習過程能理論與實務兼顧。這對於強化學習在自主系統、機器人控制、金融交易等安全性與穩定性要求極高的領域，有著深遠的啟發意義。

總結而言，《Non-delusional Q-learning and Value-iteration》這篇最佳論文不僅提出了 Q-learning 和值迭代中的新型核心演算法，還以理論嚴謹與實驗充分的論證，協助解決了強化學習演算法中的根本性誤區。它是強化學習理論與實踐交匯點上的重要里程碑，值得所有進行 RL 研究與開發的人士細讀與借鑑。

---

論文資訊
📄 Non-delusional Q-learning and Value-iteration
👥 Lu, Schuurmans
🏆 NeurIPS 2018 · Best Paper