Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

近年來，大型語言模型（Large Language Models, LLMs）在自然語言處理領域展現出驚人的能力，尤其在生成語言、問答、摘要等任務表現優異。然而，如何讓 LLM 不僅停留於「模仿」與「複製」訓練資料中的知識，更能自主「推理」並解決複雜問題，成為研究熱點之一。強化學習（Reinforcement Learning, RL），特別是帶有可驗證回饋（Verifiable Rewards）的強化學習方法（簡稱 RLVR），因其在強化智能體探索和策略學習中的成功經驗，被認為可能是一條突破口，以期進一步激發 LLMs 具備超越基礎模型的推理能力。

本篇由 Yue 等人發表於 NeurIPS 2025 的論文《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》則從系統性且實證的角度，對此一普遍認知提出質疑，並探討 RLVR 是否確實能激勵 LLM 產生根本上新的推理能力，還是僅在現有基礎模型的能力範圍內取得表面提升。該論文獲頒當屆 NeurIPS 的最佳論文候選獎，代表其在方法論嚴謹性及研究新穎性上的高度肯定。

研究背景與動機

具體而言，傳統強化學習透過試錯和策略調整，強化智能體對環境的掌控能力，因此在遊戲、機器人控制等領域屢創佳績。將這樣的機制移植至 LLM，尤其是通過 RLVR，期望模型能在推理任務（如數學問題、程式碼生成及視覺推理）中，藉由累積回饋獲得真正的能力進化，而非單純仿製訓練資料中的邏輯套路。

然而，現有文獻多以初步結果呈現 RLVR 在提升推理任務表現的成功，少有系統性深入探討「這些提升是否屬於模型能力的本質突破」，或只是加強了基礎模型在訓練時已經暗含、但尚未完全展現的潛力。藉此，作者展開一系列控制嚴謹的實驗與分析，釐清 RLVR 實際為 LLM 帶來的價值與限制。

核心方法與創新

作者選取多種主流 LLM 架構與多樣的 RL 演算法，涵蓋目前市面上常見且有代表性的強化學習變形版本，應用於不同類型的推理評測基準，包括數學推理、公認編程任務以及視覺推理。為衡量模型的推理能力，論文採用偏大 k 值的 pass@k 指標，此指標反映在生成多個解答樣本後，模型在多數嘗試中成功率的表現，能更全面揭露模型推理空間的覆蓋狀況。

本研究的創新之一是強調與基礎模型的比較對照，將基礎模型視為能力上限的「理論最大覆蓋邊界」，並藉由困惑度（perplexity）與覆蓋率（coverage）分析，科學剖析 RLVR 強化訓練後的模型是否實質突破該邊界，或者僅是不同生成策略限制下的局部表現提升。

主要實驗結果

實驗結果顯示，雖然 RLVR 訓練後的模型在小 k（例如 k=1）時確實比基礎模型表現稍好，代表其在產生單一最佳解答時有所不錯的優化，但當 k 值提升，允許模型展現多樣性與包容性時，基礎模型反倒呈現更高的 pass@k 表現，暗示基礎模型本身已蘊藏較為豐富的推理空間與多種潛在解法。

透過計算覆蓋率與困惑度，本研究明確指出 RLVR 並未引入本質上新的推理策略或模式，其強化效果似乎停留在基礎模型的能力框架內。相對地，他們發現模型蒸餾（distillation）技術可以從教師模型引入全新的推理邏輯與能力，實際拓展被蒸餾模型的推理空間與多元思維模式。

此外，六種主流 RLVR 演算法的表現相近，並且在充分利用基礎模型潛力方面仍相當有限，這顯示現有 RLVR 框架與方法尚未達成理想的能力挖掘與進化路徑。

對 AI 領域的深遠影響

本論文揭露了目前 RLVR 在 LLM 推理能力強化上的根本限制與挑戰，為研究社群提供了一面清晰的鏡子，促使我們重新審視「強化學習是否能自然且有效地誘發 LLM 新推理能力」的先驗假設。它強調，單純依賴現有的 RL 教學信號與方法，仍難以突破基礎模型的既有限制。

此發現對研究方向的調整具有指標性意義：未來若欲真正開拓 LLM 的推理疆界，必須設計更具創新性且複雜的強化學習範式。作者建議包括持續擴大模型規模（continual scaling）、引入多回合的智能體與環境互動機制，這類更貼近真實智能體學習過程的策略，或有助於激勵模型產生更具質變的新推理能力。

同時，本論文也強調蒸餾等知識傳遞方法在推理能力擴展中的潛力，提醒科研人員應在多路徑並進的策略中平衡強化學習與其他訓練技術的優勢，進而加速 LLM 在複雜認知任務的突破。

總結來說，Yue 等人的這篇研究不僅校正了 RLVR 在 LLM 推理強化領域的認知，也為開發下一代智能模型揭示了挑戰與機遇。它對 AI 研究者與工程師提供關鍵啟發，呼籲擺脫傳統「單純強化獎勵優化」框架，開創更全面且深入的「學習智能體推理能力」新方法論，進而推動大規模語言模型能在更多元且複雜的任務中展現突破性的推理表現。

---

論文資訊
📄 Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
👥 Yue, Chen, Lu, Zhao, Wang, Song, Huang
🏆 NeurIPS 2025 · Best Paper Runner-Up
🔗 arxiv.org/abs/2504.13837