Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

當今大型語言模型（Large Language Models, LLMs）在自然語言生成、問答、翻譯等多樣任務中展現了令人驚艷的表現，且其核心架構多基於「下一個代幣預測（next-token prediction）」的訓練方式。然而，這種一字接一字、短視近利的預測策略，是否能滿足更高層次的創造力需求？

ICML 2025 論文 “Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction”（Nagarajan 等人）即對此提出深刻反思，提出一套系統化方法來評估並突破現有語言模型在創造性任務上的侷限，榮獲本屆大會的 Outstanding Paper 獎。

研究背景與動機

傳統的 LLM 多用自回歸（autoregressive）模型結合最大似然估計，透過一次預測下一個標記來訓練。此機制使得模型善於學習語言結構及語義，但因本質上是短視的逐步決策過程，難以捕捉需要長期規劃、創新跳躍的思考過程。

真實世界的開放式問題常涉及不確定性高且解空間龐大的探索。例如，創意寫作中的文字遊戲、新蛋白質結構設計、類比推理、研究發現等，都需要模型具有「提前評估多步長遠影響」的能力，並能隨機但不失條理地嘗試嶄新的組合模式。作者針對這樣背景，設計了「簡約版的算法性任務」來模擬開放式問題的核心困難，試圖量化下一代幣預測模式在創造性上的限制。

核心方法與創新

作者提出兩大核心創新：

1. Minimal Algorithmic Tasks 作為創造力量度工具：他們設計了一套具代表性的演算法任務，抽象化真實世界「開放式、具創造性的問題」。這些任務包含（a）在抽象知識圖譜中發掘新連結（類比、語意遊戲、研究創新）,（b）呈現可構建新模式的領域（如數學題設計、蛋白質結構合成）。透過這套可控、可操作的任務集合，作者能準確量化模型在多步創新規劃上的能力。
2. 超越下一代幣預測的生成策略探索：論文中系統性比較了傳統下一代幣預測（next-token learning）與基於整體樣本（multi-token approach）的策略。特別提出了「teacherless training」與「擴散模型（diffusion models）」兩類多步生成框架，相較於短視的自回歸模型，它們在生成多樣性、原創性方面展現更強實力。

此外，作者針對隨機性的引入也有重要的新見解。傳統方法中，調整溫度（temperature sampling）是在輸出層增加隨機性，但這會造成流暢度與連貫性的衝突。作者創新提出在輸入層引入噪音（seed-conditioning）的方案，不僅保留了生成的多樣性，同時更好地維繫內容的連貫與合理性，在特定條件下效果甚至優於溫度調整。

主要實驗結果

實驗部分，作者透過自訂的 Minimal Algorithmic Tasks 與真實任務的類比檢驗，得到幾項重要發現：

• 下一代幣預測模型表現出短視（myopic）特質。在需要多步前瞻思考的創造性任務上，這類模型容易陷入局部最佳，難以跳脫已知語料中表層的模式和連結。
• 多代幣生成模型（如擴散模型）在保持探索性與創新上具優勢。這類模型能對問題整體結構做出更全面的規劃和嘗試，因此生成作品更有創造力且不易陷入模式化。
• Seed-conditioning 在促進隨機性同時保障生成連貫性上表現出色。通過在輸入層注入噪聲，模型在多次嘗試中能維持整體論述結構和邏輯一致性，而非僅依賴輸出層的溫度調節，展現出更佳的創造性與穩定性平衡。

這些結果不僅在人工設計的任務上有說服力，更能映照真實世界創造性問題中對模型設計的啟示。

對 AI 領域的深遠影響

本論文深刻指出，當前主流的下一代幣預測架構在創造性推理與開放探索中的局限，呼籲研究社群重視「多步長遠規劃」與「隨機性調控機制」的引入與創新。這對未來 AI 系統設計提出了重要方向：

1. 算法任務作為創造力評估基準：提出的 Minimal Algorithmic Tasks 為後續模型創造力測試提供了一個既簡潔又具挑戰性的標準。這將有助於建立更精細的 AI 能力分級與診斷工具。
2. 多-token、全局生成策略的興起：隨著擴散模型、隱式規劃（implicit planning）等方法的穩步發展，未來語言模型有望突破逐字生成的侷限，開拓更大範圍的智能決策與創新能力。
3. 噪音注入的新視角：seed-conditioning 提供了一套理論基礎和實作技術，啟示如何有效兼顧隨機探索與內容連貫，對生成模型的多樣性維護與調度策略具有指導意義。

總結而言，Nagarajan 等人這篇論文不僅突破傳統語言模型框架中「下一代幣預測」的創造力瓶頸，更透過精心設計的測試任務及新穎的生成技術，推動 AI 研究向更開放、多元、長期規劃的智能推理邁進。對工程師與研究生來說，這份工作提供了寶貴的啟發與工具，用以思考如何設計未來更具創意與「前瞻性」的智能系統。

完整論文與部分程式碼開源連結：

https://arxiv.org/abs/2504.15266

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266