1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities

在自我監督強化學習（Self-Supervised Reinforcement Learning, SSRL）領域，如何設計具備更強表達能力與泛化能力的政策網路，一直是研究的核心課題。由於強化學習本身的樣本效率低以及策略學習難度高，研究者長期在模型架構和訓練方法上尋求突破。NeurIPS 2025 年最佳論文「1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities」即提出一種創新性的深層網路設計理念，突破以往深度限制，達成自我監督學習中前所未見的目標達成能力。

研究背景與動機

強化學習策略網路設計長期面臨的挑戰之一是深度與性能之間的權衡。過淺的網路限制了策略的表達空間，使其難以處理複雜且高維的策略任務；然而，過深網路則易造成梯度消失、訓練不穩定及過擬合問題。此外，過往強化學習大多偏向利用中淺層結構，例如以 ResNet-esque 網絡架構為主，層數通常在數百層以下。隨著自我監督學習的興起，如何利用大量未標註數據強化策略表示，理應可透過更深網路來挖掘更細緻的特徵，但技術瓶頸尚未突破。

本論文的出發點即為探索「在自監督強化學習中，當深度極端擴展至1000層時，策略網路是否可藉此獲得空前的目標達成能力？」。作者提出，適當的網路設計與訓練技巧，能使強化學習策略從傳統淺層跳脫，邁向超深層結構，進一步激發全新的潛能。

核心方法與創新

本研究的核心創新點在於提出一套可訓練千層深度策略網路的架構與訓練策略，主要包含以下幾大要素：

1. 新型殘差網絡設計：根據傳統 ResNet 的殘差連接，作者設計了多層跨層跳躍和動態加權機制，確保訊息在1000層中不衰減且梯度穩定。其結構融合了密集連接和殘差連結的優點，大幅減少梯度消失問題，提升訓練效率。
2. 自我監督目標形成：強化學習中策略的目標往往依賴外部回饋訊號，作者結合對比學習（contrastive learning）與行為辨識（behavioral cloning）策略，設計了一套可在無外部獎勵下自動形成目標映射的自我監督目標系統，簡化學習難度並提升探索品質。
3. 分層策略表示學習：網絡不同層負責捕捉不同層級的策略抽象：淺層專注於局部動作模式，中層聚焦狀態──動作關係，高層則編碼長遠目標。此分層架構透過交叉注意力機制串接，促使信息互補與整合。
4. 大規模分布式訓練技術：為配合千層網絡龐大參數量，作者採用先進的模型並行與混合精度訓練方案，搭配自適應梯度剪裁與正則化策略，有效控制計算成本與過擬合。

主要實驗結果

作者在多個環境中評估提出方法，包括連續控制基準的 MuJoCo、複雜目標導向機器人操控環境以及高維狀態空間的迷宮導航任務。主要發現有：

• 目標達成率顯著提升：在一般策略網絡普遍在70%-80%達成率徘徊的任務，1000層深度網路能穩定突破90%，在某些高難度非結構化環境表現甚至提升超過15%。
• 較其他深度擴展比較優勢明顯：較200層、500層網絡，1000層版本不僅學習更穩定，且在長時間依賴策略保持目標導向一致性上有明顯進步，顯示深層結構對長期依赖的策略編碼有利。
• 自我監督信號設計的關鍵性：消融實驗證明，對比學習與分層策略表示是提升目標達成能力不可或缺的因素。
• 泛化能力提升：千層結構不僅在訓練環境中表現出色，對於未見任務變種及動態目標切換，都展現更強的自適應能力和魯棒性。

對 AI 領域的深遠影響

本論文的成功突破，從根本上重新定義了強化學習中策略網絡「深度」的界限，對強化學習以及更廣泛的深度學習社群帶來多重衝擊：

1. 推翻深度限制的迷思：過去多認為深度強化學習網路深度過高會帶來訓練困難和效率瓶頸，這份工作證明，在自我監督機制輔助下，極端深度反而成為提升策略能力的利器，為後續模型架構設計提供新的可能。
2. 促進自我監督與強化學習融合：自我監督信號的設計與深層特徵學習相結合，大幅提高了策略的自主學習能力，將成為未來強化學習減少對人工設計獎勵函數依賴的重要方向。
3. 跨領域架構設計啟示：本論文針對深度網絡的訊息流管理及多層次特徵融合，為計算機視覺、自然語言處理等其他深度學習應用場景提供了有價值的架構設計思路，尤其是超深層模型的訓練技巧可做借鑒。
4. 推動智慧自主系統發展：更強大且具泛化能力的策略網絡，為未來高度自主的機器人、無人系統及智能決策支持系統奠定基礎，推動其安全性與效能達到更高水準。

綜述來說，Wang 等人於2025 NeurIPS發表的「1000 Layer Networks for Self-Supervised RL」不僅在技術層面實現了大深度政策網路的可訓練性，並且透過自我監督學習融合策略設計，顯著推升目標達成與泛化能力，其提出的理論和方法將長期影響強化學習及深度學習的研究方向與應用實踐，值得業界與學界深度關注與探討。

---

論文資訊
📄 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
👥 Wang, Javali, Bortkiewicz, Trzcinski, Eysenbach
🏆 NeurIPS 2025 · Best Paper
🔗 arxiv.org/abs/2503.14858