Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

隨著大型語言模型（Large Language Models，LLMs）在自然語言理解與生成的突破，強化學習（Reinforcement Learning, RL）因其在策略探索與自我改進上的特性，逐漸成為提升 LLMs 推理能力的重要工具。其中，一種名為「可驗證獎勵的強化學習」（Reinforcement Learning with Verifiable Rewards, RLVR）的方法在數學與程式碼推理任務上表現出顯著成果，並引發學術界對其是否真正激發模型推理能力提升的廣泛討論。於 2025 年 NeurIPS 會議中，由 Yue 等人發表的論文《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》就此展開嚴謹且系統性的實證研究，並獲得該年度最佳論文亞軍殊榮。本篇簡介將以深入淺出的方式，解析該研究的動機、方法設計、核心發現及其對 AI 領域的重大啟示。

研究背景與動機

LLMs 如 GPT、PaLM 等雖在語言理解及生成具備驚人能力，但其推理能力仍受到基礎模型（Base Model）架構及訓練資料的限制。為了突破這些瓶頸，研究者嘗試結合強化學習，嘗試讓模型在互動環境中不斷試探、優化自身策略，藉以獲得更強全新推理技巧。特別是 RLVR 方法，利用可驗證的明確獎勵訊號指導學習，據稱可在數學證明與程式碼極限推理任務中，超越基礎模型表現，帶來新的推理能力模式。但究竟 RLVR 是否真的促進了基礎模型本無的推理能力？這點至今缺乏全面且量化的驗證。

本研究的核心動機，即是從理論與實證兩端，仔細剖析利用 RLVR 訓練的各式 LLMs，是否能「真正」開拓出超越底層模型本身能力的新推理能力，或僅是透過獎勵機制加強既有的推理模式及解答品質。藉此，評估主流 RLVR 演算法的局限性與潛力，並比較蒸餾（distillation）過程對推理能力的真實拓展效果，為未來設計更有效的強化學習框架指出方向。

核心方法與創新

研究團隊採用多種大規模語言模型族群，覆蓋不同架構與參數規模，並整合六種當前代表性的 RLVR 演算法，系統性地在數學、程式碼與視覺推理三大類基準測試中評估推理表現。為了完整捕捉模型解答的多樣性與深度，作者引入了 pass@k 指標，並特別強調對 k 值較大時的測量，以探討模型是否能在高覆蓋率條件下仍維持高效推理。

此處的創新點在於，團隊突破以往針對「單一解答」的評測限制，將焦點放在「大規模抽樣下的解答分布」與「推理過程多樣性」上，透過分析覆蓋率（coverage）與困惑度（perplexity），細緻鑑定 RLVR 模型是否發展出嶄新的推理模式，或仍是基於基礎模型能力的重複演繹。

此外，在比較蒸餾法時，研究引入老師模型與學生模型的推理能力層次分析，驗證在師生框架下，推理能力是否能真正擴展或突破基底模型的限制。此一交叉比較提供了詳盡且全面的視角，有助於厘清強化學習與蒸餾兩種提升策略的本質差異。

主要實驗結果

研究結果令人意外且值得深思。首先，在小 k 值（如 k=1）下，RLVR 訓練的模型確實能較基礎模型取得更好單一解答的成功率；然而，當 k 值大幅增加，多解答覆蓋率成為評分重點時，基礎模型反而能超越 RLVR 模型的表現，上述提升並非來自於新的推理模式的產生，而是原有基底能力的更充分展現。

覆蓋率與困惑度分析進一步指出，RLVR 模型的推理路徑與解答空間幾乎完全涵蓋於基礎模型之內，換言之，RLVR 並沒有系統性地激發模型開發出原本缺乏的推理能力，而是聚焦在利用獎勵機制對既有模式的加強與調整。

在六種不同 RLVR 演算法比較中，無論是 PPO（Proximal Policy Optimization）、REINFORCE 或其他流行方法，性能表現趨於一致且均未達到理論上的最優利用基底模型潛力，顯示目前 RLVR 訓練策略若缺乏更複雜的互動機制，仍存在顯著瓶頸。

相比之下，蒸餾技術展現出截然不同的結果。透過從表現較強的老師模型向學生模型傳遞知識，學生模型不僅提升整體績效，更學會了新的推理模式，明顯超越基礎模型原有的範疇，證明蒸餾是推動 LLM 推理能力實質繁榮的有效手段。

對 AI 領域的深遠影響

本論文的發現對 LLM 與強化學習的發展路徑具有里程碑式的啟示。首先，它挑戰了目前社群普遍認同的 RLVR 促進 LLM 推理能力跨越的假設，提供了基於嚴謹實驗與量化分析的反思依據，促使學界重新檢視現有強化學習框架的能力與限制。

其次，作者強調，單純依賴現有 RLVR 策略難以跳脫基礎模型設計與訓練數據的束縛，反映出 LLM 在複雜認知任務上的推理進展需要更豐富的互動情境與動態學習架構。未來研究可望沿著多回合（multi-turn agent-environment interaction）以及「持續擴展」（continual scaling）的方向，探索能真正激發創新認知策略與推理模式的強化學習新範式。

再者，蒸餾方法被證實能在推理能力上帶來質的飛躍，這對模型設計與訓練細節上的優化提供新啟發，暗示教師模型的示範與知識傳遞是突破當前瓶頸的一把鑰匙。

綜合而言，這份研究不僅深化了我們對 LLM 強化學習機制的理解，還為廣大工程師與研究生指明了未來提升機器推理能力的關鍵挑戰與可能解決方案。它鼓勵 AI 社群正視並超越現有技術的表層提升，追求更有深度、更具創新的智能體設計。

總結來說，《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》以細膩的實證分析，成功拆解了 RLVR 在 LLM 推理強化中的本質限制，並通過對蒸餾技術的比較展示了擴展模型思維方式的新可能性。這項工作是強化學習和語言模型交叉領域中，推動理論進展與技術革新不可忽視的重要里程碑。

---

論文資訊
📄 Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
👥 Yue, Chen, Lu, Zhao, Wang, Song, Huang
🏆 NeurIPS 2025 · Best Paper Runner-Up
🔗 arxiv.org/abs/2504.13837