Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

在近年大規模語言模型（Large Language Models, LLMs）的迅速發展中，提高模型的推理能力成為研究的熱點。特別是在數學運算、程式碼生成及視覺推理等需要多步邏輯思考的任務上，強化學習（Reinforcement Learning, RL）被視為一種有力的方法。傳統 RL 的本質是通過獎勵機制激勵代理人探索並學習新的策略，類似地，「可驗證獎勵的強化學習」（Reinforcement Learning with Verifiable Rewards, RLVR）被認為能讓 LLM 持續自我優化，突破基礎模型（base model）原有的推理極限，進而具備全新或更高階的推理能力。

然而，來自 Yue 等人於 NeurIPS 2025 的論文《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》提出了挑戰性的觀點。他們系統性地檢視 RLVR 訓練後的 LLM，在多種模型架構、不同的 RL 演算法，及涵蓋數學、程式設計和視覺推理的廣泛基準測試上的推理能力極限。評估指標主要使用大型 k 值的 pass@k，這種指標能反映模型生成多樣有效回答的能力，高 k 值測試更能揭示模型潛在的推理多樣性及深度。該研究驚人地發現，現有 RLVR 訓練架構並未真正激發出 fundamentally 新的推理策略或思維模式，實際上 RLVR 訓練模型在較小 k（如 k=1）時表現優於基模型，但隨著 k 值增加，基礎模型卻能超越 RLVR 模型的整體成功率。

研究背景與動機

隨著 LLM 的規模及能力擴展，如何讓模型能更靈活、高效地進行多步推理成為一大挑戰。特別是在數學證明、程式碼推理等需要嚴謹邏輯的應用中，僅靠大規模的預訓練很難突破隱含的知識及策略限制。強化學習被認為是自我改進的利器，其核心動力在於透過環境反饋的獎勵訊號，驅使模型不斷尋找更優解。然而，RL 在 LLM 上的效果褒貶不一，特別是 RL 與「可驗證的獎勵」結合後，雖聲稱提升推理能力，但具體提升的本質與邊界尚未被深入探討。

本論文主旨即在細緻分析 RLVR 的實際效能及其對推理能力的影響，徹底檢視：RLVR 是否真的引導 LLM 學習全新、超越基模型的推理策略？還是說 RLVR 實際上只是對基模型能力的一種擴展與強化，且存在瓶頸未被突破？此問題的解答對於理清 RL 在 LLM 領域中的定位與未來策略設計至關重要。

核心方法與創新

本研究的核心方法是一套嚴謹且全面的實驗框架，涵蓋：

• 多種主流 LLM 架構：包括但不限於 transformer 基礎模型、經 RLVR 訓練的對應模型。
• 六種流行的 RLVR 演算法比較，透過同一基準測試多角度評估其能力。
• 多樣化任務基準，包括數學推理（如計算、算術推導）、程式碼生成、以及視覺推理題庫。
• 使用 pass@k 指標，特別是著重於大 k 值情況下的表現，這能更準確地反映模型生成多種有效解的潛力，避免小 k 時可能因隨機因素造成的假象提升。
• 進一步採用 coverage（答案覆蓋率）與 perplexity（困惑度）分析，探討模型生成答案的多樣性及不確定性，目的是判斷新推理行為是否來自基模型的知識範疇之內還是發展了新的邏輯架構。

此研究中另一創新點在於將基模型的能力視為「理論上的上界」，彌補以往研究缺乏明確比較基準的不足，從量化的角度評估 RLVR 演算法的優劣與潛力。

主要實驗結果

實驗結果的主要發現分為幾項關鍵結論：

1. RLVR模型並未展現原創性推理行為：雖然RLVR模型在小k值的pass@k表現上優於基模型，表示它們在輸出最高質量的單一解答方面有明顯提升，但當考察更高 k 值時，基模型提供的多樣有效解反而更多，反映出基模型本身已存在被忽略的潛力。
2. 推理能力受限於基模型知識範圍：通過覆蓋率與困惑度分析，研究團隊證實 RLVR 強化的技能實質上是基於基模型固有的推理模式，未生成本質上新的邏輯路徑或思考策略。
3. 六種主流RLVR算法表現相近且均未達最佳：無論使用何種 RL 策略，這些方法均無法充分利用基模型容量來徹底突破推理限制，顯示現有 RLVR 框架在設計或獎勵結構上存在待突破的瓶頸。
4. 蒸餾方法可帶來推理能力的實質提升：與RLVR比較，透過知識蒸餾（distillation）從教師模型引導學生模型學習，能夠導入新的推理模式，真正擴展模型的推理能力，說明提升推理能力不僅靠獎勵激勵，更需結合模型間的知識遷移。

對 AI 領域的深遠影響

本論文深入揭露了目前 RLVR 技術在推理能力提升上的侷限，對 AI，尤其是大規模語言模型的強化學習研究具有多重啟示：

• 重新審視強化學習在 LLM 推理提升中的角色：長期以來 RL 被看作是突破模型能力瓶頸的關鍵，但本研究指出，若 RL 獎勵設計及訓練策略不佳，RL 很可能只是放大了基模型本身的潛能，並未創造全新能力。
• 強調基模型設計與知識的根本作用：提升 LLM 推理能力不可忽視基模型的架構與知識涵蓋，RLVR 無法獨立完成能力超越，意味著未來改良必須從基礎模型建設與預訓練策略一併著手。
• 提出未來 RL 發展方向：作者建議未來 RL 研究應聚焦於更具持續性(scale continual training)、多回合(agent-environment interaction)的智能體環境交互模式，打破現有一次性獎勵的方案限制，以逐步引導模型學習全新思維策略。
• 知識蒸餾的價值再確認：透過教師引導的蒸餾方法可有效注入新推理策略，這為未來結合 RL 與蒸餾等多種技術提升 LLM 推理能力提供了有力指導。

總結來說，這篇論文為 RL 在提升大型語言模型推理能力的研究提供了重要的反思與指標，顯示目前 RLVR 技術尚未真正激發出創新的推理思維，而未來的突破需要更深層次的訓練設計和模型結合策略。對正在用 RL 強化 LLM 的研究人員和工程師來說，這份工作提供了寶貴的實證依據，提示應該避免盲目追求 RL 訓練，而應強調模型本體能力與交互式優化的結合，朝向真正具備推理創造力的智能體邁進。

---

論文資訊
📄 Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
👥 Yue, Chen, Lu, Zhao, Wang, Song, Huang
🏆 NeurIPS 2025 · Best Paper Runner-Up
🔗 arxiv.org/abs/2504.13837