Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

隨著大型語言模型（Large Language Models，LLMs）在自然語言處理領域展現出驚人的能力，如何進一步提升模型的推理能力成為研究熱點。近年來，強化學習（Reinforcement Learning, RL）方法特別是結合可驗證回饋的強化學習（Reinforcement Learning with Verifiable Rewards, RLVR）被廣泛認為是一種有效途徑，透過強化學習訓練，LLMs可以持續自我改進、學習新的推理策略，進而超越原始基礎模型的限制。NeurIPS 2025 的論文《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》由 Yue 等人提出並榮獲最佳論文亞軍，針對這一假設做出了系統且深刻的挑戰與反思。

研究背景與動機

過去的研究發現，LLMs 在語言生成、文本理解、語法知識甚至多模態推理等任務上表現優異，但在數學推理、程式設計與複雜邏輯推理等方面仍有顯著提升空間。強化學習特別是 RLVR，因能結合「可驗證的回饋信號」，被認為有助於優化模型的決策過程和推理輸出，類似於人類在嘗試與錯誤中持續進步的過程。因此，研究者普遍相信 RLVR 可推動模型超越基礎模型固有的限制，學習並展現出嶄新的推理能力。

然而，該論文從批判性角度出發，提出了重要問題：目前的 RLVR 是否真的使得模型在推理上產生了質的飛躍，還是僅僅在原有基礎模型的範圍內「重組」已有能力？本研究聚焦於，如何精確衡量並解析 RLVR 對 LLM 推理表現所帶來的真實價值及其邊界。

核心方法與創新

本研究的最大創新點在於提出了嚴謹且系統化的實驗框架，針對不同模型架構族群（包括多種主流 LLM）、多種 RL 演算法，以及涵蓋數學、程式設計和視覺推理任務的多元基準測試，展開深入分析。與過去多數以最高單次輸出正確率（pass@1）為評估標準不同，作者採用了更具代表性的 pass@k 指標，尤其關注在 k 值較大時的表現。這種評估方式能夠更完整地揭示模型在多次嘗試中能否生成正確推理的能力，避免單次判斷帶來的偶然性和偏誤。

此外，作者深入解析「覆蓋率（coverage）」與「困惑度（perplexity）」這兩個指標，作為觀察模型生成推理輸出的質量和多樣性的窗口。這些分析工具幫助揭示模型推理能力的真實範圍，是否突破了基礎模型的能力邊界。

不同於只關注 RLVR 的改進，本論文也將模型蒸餾（distillation）方法納入比較。蒸餾能借由教師模型的知識遷移，激發出新的推理模式，從而真正在某種程度上擴展模型能力。透過這樣的對比，作者全面展現了 RLVR 與蒸餾各自對模型推理能力培育的差異。

主要實驗結果

出乎意料的是，實驗結果明確指出：當 k 值較小（如 k=1）時，RLVR 訓練過的模型確實優於其基礎模型，但當 k 值提高，也就是評估模型在多次嘗試下的綜合表現時，基礎模型反而取得更高的 pass@k 分數。這表示 RLVR 並沒有帶來顯著的「全新」推理能力，而是強化了現有能力的「選擇性輸出」。換句話說，RLVR 類似於讓模型在有限能力範圍內更「精準地挑選」正確答案，而非創造全新解題路徑或理解方式。

覆蓋率與困惑度的分析也進一步佐證了此觀點：模型在生成的推理過程中，仍然依賴基礎模型的固有限制，沒有突破語言模型內部知識結構或推理邏輯的根本瓶頸。此外，針對六種主流 RLVR 演算法的量化比較顯示，各種方法整體性能差異不大，且均未能充分發揮基礎模型的最高潛力。

反觀蒸餾方法，作者發現它不僅能有效引入教師模型具有的推理策略，還能在某些任務上擴展受試模型的推理廣度和複雜度，呈現出真正意義上的能力突破。

對 AI 領域的深遠影響

此篇論文的發現對當前及未來的 LLM 強化學習研究具有警醒作用。首先，作者澄清了 RLVR 在強化推理能力方面的現實限制，破除過度樂觀的期待，讓研究界重新審視強化學習如何真正驅動 LLM 持續自我提升。

其次，對於 LLM 推理能力的評估標準也帶來啟發——評估時不應只看單次輸出正確率，而應注重在多次嘗試條件下模型的整體表現，這有助於揭示模型真實的潛能與限制。

最重要的，該研究強調了現有 RL 訓練範式的不足，未能充分激發模型產生全新推理模式，點出了未來創新方向——例如結合持續規模擴充（continual scaling）、多輪代理與環境交互等複雜策略，這些新型強化學習架構可能是解鎖 LLM 高層次推理能力的關鍵。

總結來說，Yue 等人的工作為 AI 研究社群提供了非常重要的基調轉換：在推理能力的提升上，深度強化學習的方法尚未達成突破性創新，而結合其他知識轉移技術（如蒸餾）和更複雜的人機互動訓練策略，將是未來推展的重點。這不僅推動了對 LLM 推理本質的理解，也為高效且持久的模型優化指明了方向。

---

論文資訊
📄 Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
👥 Yue, Chen, Lu, Zhao, Wang, Song, Huang
🏆 NeurIPS 2025 · Best Paper Runner-Up
🔗 arxiv.org/abs/2504.13837