Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

當前大型語言模型（Large Language Models, LLMs）透過「下一詞預測」（next-token prediction）任務進行訓練，已在自然語言理解和生成領域展現驚人能力，但其在創造力與長遠規劃上的侷限性逐漸受到關注。ICML 2025 年由 Nagarajan、Wu、Ding 及 Raghunathan 發表的論文《Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction》便針對這類挑戰提出深刻探討，並獲選為 Outstanding Paper。本文將深入解析本論文的研究背景、創新方法、實驗結果與其對 AI 創造力研究的深遠影響。

研究背景與動機

隨著 GPT 系列及類似模型普及，透過大量文本預測下一個字詞成為 AI 自然語言生成的主流策略。這種「貪婪視角」式的下一詞預測，在短期上下文保持流暢且合理，卻在需要跨步推理、長期計劃、甚至開創性構思時表現低落。論文作者反覆觀察現實中的開放式任務往往需跳脫當前狀態限制，類似在抽象知識圖譜中找到隱藏聯繫，或設計數學問題、新蛋白質分子結構等需要長遠、隨機卻合乎邏輯的創新行為。這種「遠見跳躍」（far-sighted leap）並非單純依賴局部上下文即可衍生。

因此，作者提出研究問題：以目前的 next-token 預測架構，能否突破其「近視」問題（myopia），成功模擬並推展創造力？並尋找能在保有生成文本連貫性的同時，兼顧多樣性與開創性的生成機制。

核心方法與創新

為明確量化並測試模型創造力，論文設計了一組「極簡化算法任務」，這些任務是對現實開放式任務的抽象化，包括：

• 在抽象知識圖譜中發現在字詞、概念間的新連結（如詞彙遊戲、類比推理、研究構思）
• 構建新模式（如數學題型創造、蛋白質設計）

這類任務本質上要求模型以「隨機」且「長期規劃」的方式探索解空間，跳脫純粹基於局部上下文的預測。

在方法層面，作者對比三種生成策略：

1. 傳統的下一詞預測及溫度採樣（temperature sampling）：基於output層隨機調節採樣，典型的生成方式。
2. 教師無指導訓練（teacherless training）：以無監督方式學習生成整段序列，而非逐步依賴每字詞預測。
3. 擴散模型（diffusion models）：透過逐步「去噪」過程生成樣本，天然具備探索多樣解的能力。

此外，論文在引入隨機性的策略上提出創新——「種子條件化」（seed-conditioning）：

與其在輸出層調整溫度參數來控制隨機性，不如在輸入層注入噪聲，預先「設定起點」，讓整個生成過程自然展開多樣探索。此方法意外地在保持生成連貫性與提升多樣性間取得了最佳平衡，有時甚至優於傳統溫度調控。

主要實驗結果

作者將上述策略分別應用於設計的算法任務，結果清楚展現各方法優劣：

• 下一詞預測方法的侷限：生成結果往往過於局部導向，缺少創新跳躍與遠見規劃，導致生成內容創造力低。
• 教師無指導及擴散模型的優勢：能在任務中呈現更豐富、多樣並持續開拓解空間的生成表現，更符合抽象任務需求。
• 種子條件化優於溫度採樣：在同樣創造性指標下，透過輸入層噪聲驅動的生成比輸出層溫度調節更穩定，產生更自然且合乎邏輯的多樣創造結果。

此套嚴謹的算法任務測試平台，也提供了研究開放式創造力的理論與實驗支柱，有助後續拓展、更精細分析 AI 創造過程。

對 AI 領域的深遠影響

本論文透過提出可重複、可控的極簡任務以及嚴謹比較多樣生成策略，對語言模型的創造能力給出核心質疑並推動重要突破。其影響可從以下幾面理解：

1. 明確揭示下一詞預測的創造力瓶頸：過去業界與學界對 LLM 很大程度依賴 next-token 預測優化，論文指出這種方法本質上具「近視」缺陷，難以進行全局創新決策。
2. 推廣從單步生成到序列或全文生成新訓練范式：教師無指導訓練和擴散模型展示了更強的創造潛力，為下一代生成模型設計指明方向。
3. 引入種子條件化帶來生成策略的新思維：噪聲注入於輸入層的簡潔創新，有潛力成為控制生成多樣性與保持質量的標準技術。
4. 建立標準化開放式創造力測試床：論文開源部分代碼，提供社群統一評估創造力的新工具，促進相關領域的系統研究。

綜合而言，此論文為 AI 研究從局部、短視的預測機制，邁向具有長遠規劃、隨機探索與真正創造力的方向奠定了理論與方法基石。對未來人工智能在科學發現、藝術創作、策略推演等多元場景的突破發展，具備深遠啟發與推動作用。

最後，作者團隊也在公開平台釋出部分研究代碼，鼓勵業界與學術界共同檢驗和擴展該工作，期待未來基於此基礎催生更多跨領域創造力強化技術。

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266