Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

在當前語言模型快速發展的浪潮中，基於下一個字元（next-token）預測的訓練與推理方式已成為主流，從 GPT 系列到各類 Transformer 架構，皆採用此策略。然而，這類方法雖能生成流暢且連貫的文本，卻在創造性與遠見規劃（long-horizon planning）層面存在先天侷限。ICML 2025 年獲獎論文《Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction》由 Nagarajan 等人針對這一核心問題提出了全新視角及方法。

研究背景與動機

現今大型語言模型多數透過最大化訓練語料的下一字元機率來學習語言結構與內容生成，這種「貪婪」式的逐步預測方法擅長捕捉局部語境關係，但對於需要長期規劃與創新跳躍的任務，則表現不佳。例如，真實世界中的創造性工作往往包含跨領域類比、概念重組、甚至是全新問題設計，這些都需要抽象知識圖譜的隱性探索與非局部決策。然而，下一字元預測本質上是「短視」的，無法有效捕捉多步後的潛在成果與創新路徑。

作者團隊因此設計了一套簡明且抽象的算法任務，這些任務不僅象徵真實世界中開放式、需要遠見的創新挑戰，也便於嚴謹量化模型在創造性上的極限與差異。這樣的研究設計在於評估現有語言模型的創造潛能並尋求突破方向。

核心方法與創新

本論文的核心在於提出並驗證多步跳躍（multi-token planning）優於傳統單步下一字元預測的理論與實踐證據。具體方法包含以下兩大面向：

1. 設計抽象的多步創造性任務：這些任務包括兩類核心模式：一是透過隱式、開放式的隨機規劃（stochastic planning）在抽象知識圖譜中發掘新連結，類似語言文字遊戲、類比推理、科學研究中靈感跳躍；二是建構新圖案，例如數學問題生成或蛋白質設計，這些都是典型的非局部、多步驟的創造行為。
2. 提升隨機性操作的新技術－「seed-conditioning」：傳統方法多透過溫度採樣（temperature sampling）在輸出層施加隨機性，增加多樣性但也可能破壞生成的連貫性。作者發現，在輸入層注入擾動（seed-conditioning）不僅能維持更高的語義與結構一致性，且在部分條件下表現優於溫度採樣。此技術大幅改進了模型產生創意輸出的質與量平衡，為創造力研究提供新思路。

此外，論文中也比較了基於教師無監督訓練（teacherless training）以及擴散模型（diffusion models）的方法，展示它們在創造多樣化輸出上的優勢，進一步反駁只用下一字元學習的狹隘視角。

主要實驗結果

實驗階段，作者在其設計之抽象算法任務平台上，對比了三種生成策略：傳統的 next-token 預測、擴散模型以及多步跳躍策略。透過嚴謹的定量指標與質性分析，結果顯示：

• 基於下一字元預測的模型雖能快速收斂，生成文法正確且風格自然的串列，但在拓展新知、跳脫既有知識框架方面表現平平，生成結果較缺乏創新與多樣性。
• 擴散模型與多步規劃策略在隨機性與探索性上顯著優於下一字元方法，使得模型能「跨多步思考」並產生更多未見過的模式或連結，創造力明顯提升。
• 採用 seed-conditioning 的模型在保持生成一致性與語意流暢度同時，能更有效地擴散探索潛在解空間，整體生成作品更具新穎性和邏輯完整性。

這些實驗結果同時在多種設定下重複驗證，包括不同知識圖譜結構、任務複雜度變化與噪聲強度調整，使研究結論具備高度魯棒性與泛化潛力。

對 AI 領域的深遠影響

本論文的貢獻不僅在於揭示下一字元預測模型的創造力瓶頸，更挑戰了當前大多數自然語言生成模型的核心訓練形式。隨著 AI 在科學研究、創意產業及複雜決策系統中應用日益廣泛，如何突破短視、局部資訊依賴的生成模式，是推動 AI 從模仿到真正「創造」關鍵一步。

透過提出抽象且可量化的創造性任務基準，以及說明多步規劃、擴散模型與輸入層噪聲注入的具體優勢，作者為後續研究提供了明確路徑：

• 拓展語言模型從「連續預測」走向「全局規劃」框架。
• 引入更加靈活且創新的隨機采樣機制，改善生成文本的多樣性與品質平衡。
• 建議在創造型 AI 系統的設計中，不應只依賴經典的 next-token 最大化，需整合更全面的學習與生成策略。

整體而言，這項研究不僅為機器學習社群帶來創新視角，也推動 AI 技術朝向更具「人類般」遠見思考與創新能力的方向邁進，具有里程碑意義。

有興趣的讀者可參考論文詳細內容與開源代碼（ArXiv原文），深入理解並進一步探索創造力與藝術智能的交匯。

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266