Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

隨著大型語言模型（Large Language Models, LLMs）在人類語言理解與生成領域取得驚人成就，「下一個字元預測（next-token prediction）」成為主流訓練目標，成功打造出如 GPT 系列般的強大生成模型。然而，這類模型普遍被認為在創造性與遠見規劃能力面臨根本限制。ICML 2025 收錄並授予傑出論文獎的這篇論文 「Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction」，由 Nagarajan 等人提出，從根本挑戰並揭示了傳統 next-token 預測的盲點，並以創新的實驗設計與方法論，開啟超越下一步預測的智能創造力研究新局。

研究背景與動機

現今主流語言生成模型多以「給定上下文，預測下一個字元／詞」的策略進行訓練與應用，這種方法依賴自回歸模型在巨量語料上學習條件機率分布。然而，此方式本質是近視（myopic）的—模型在每一步都只考慮下一個字元的最可能後續，缺乏遠端規劃或長期目標導向思考。換言之，模型雖能「平滑地」延續文本，但在「創新」「跳躍性思維」「前瞻規劃」這類開放性、非確定性強的任務上，表現有限。

實際生活中，人類的創造過程往往包含非線性、隨機探索與系統規劃。例如新蛋白設計、數學問題構思、隱喻聯想等，都需要從抽象知識間發現此前未曾顯現的連結，並組合出新穎模式。論文團隊因此設計一系列「簡約演算法任務」，作為抽象化的創意挑戰基準，模擬類似真實世界開放式創作背後的隨機規劃過程。藉此，他們探索現存 next-token 模型在創造力方面的上限，並尋找改進之道。

核心方法與創新

本研究的核心創新可分為兩大方面：

1. 最小化演算法任務設計

作者自創一組簡潔的演算法任務，這些任務不依賴大規模自然語言資料，而是抽象並精煉出創造性任務的關鍵特徵：

• （a）在抽象知識圖(graph)中發現新連結，例如模擬字謎、隱喻或研究靈感產生過程。
• （b）建構新的模式，如設計數學問題或蛋白質新結構。

這些任務本質上對模型提出了隨機規劃（stochastic planning）需求，非單純預測一個最佳字元，而是需跨多步驟推敲、試探並探索可能路徑。

2. 評估 next-token 預測的「近視性」以及多字元生成策略

透過實驗與理論分析，論文指出傳統 next-token 預測本質上具有短視效應，無法有效捕捉長期多步驟的隨機性與多樣性，導致創意生產受限。相較之下，作者闡述並實驗評估了兩種多字元/多步驟生成策略：

• 無教師訓練（teacherless training）方法，透過讓模型自我探索多元路徑以豐富輸出多樣性。
• 基於擴散模型（diffusion models）的方法，從整體分布中反覆采樣，進而生成多樣且具創造性的結果。

這些方法能突破單一步驟最優解限制，促使模型擁有更寬廣的探索空間與遠見。

3. 噪聲注入技術（Seed-Conditioning）提升多樣性與一致性

在探索隨機性問題時，一般做法多半是在模型輸出端透過調整溫度（temperature sampling）引入隨機。然而，這會傷害生成文本的連貫性。作者新穎提出在輸入層注入「種子噪聲」（seed-conditioning），這種方法能在不犧牲語意連貫性的前提下，誘發模型內部多樣化生成機制。實驗顯示，此策略於多項任務中表現堪比甚至優於傳統的輸出端溫度調整，為控制隨機性提供一條全新有效途徑。

主要實驗結果

研究團隊在上述設計的算法任務集上，對比了不同模型及生成策略：

• 傳統的 next-token 語言模型在開放性創作任務上表現受限，多數時間陷入局部最優解，生成的方案缺乏多樣性與創新。
• 無教師訓練方式能有效拓展模型探索空間，顯著提升生成多樣性與新穎度。
• 基於擴散模型的生成策略則進一步改善結果，在保持合理性基礎上創造出更具突破性的解決方案。
• 噪聲注入(seed-conditioning)在不破壞整體組織結構的前提下，成功激發模型生成豐富多元的輸出，展現了與輸出端溫度調整不同且更具有彈性的作用機制。

整體來看，論文提供了嚴密的實驗與理論支持，證實了現有下一字元預測模型的創造力瓶頸，並提出具體且可擴展的新方法，為開放式創意生成領域帶來突破。

對 AI 領域的深遠影響

本論文不僅在創造性人工智慧的理論與實踐層面具開創性貢獻，更對語言模型訓練與生成策略提供了警示與革新方向：

• 重新審視下一字元預測的本質極限：研究提醒業界，不應將 next-token 預測視為通吃所有生成任務的萬用解，尤其在涉及長期規劃與創新突破的任務上需尋找新的學習機制。
• 鼓勵開發多步驟、計劃型生成技術：本論文推崇的無教師訓練和擴散模型，強調多步驟的策略探索與隱式計劃能力，未來將促進生成模型在多領域如科學研究、藝術創作與自動設計上的應用突破。
• 提供可擴充的測試平臺和方法論：簡潔的算法任務組合為學術界建立了良好的測試基準，方便量化與比對各種創意生成系統的能力，促進透明且可重現的研究生態。
• 啟示隨機性控制的新技術途徑：「種子注入」技術提供了一套觀念清晰且實用的隨機干預手段，對於生成文本的多樣性與一致性維持找到了更理想的平衡點，有望廣泛應用於其他生成模型與任務。

未來，隨著人工智慧進入更多需要創新思維的實際場景，如新藥研發、創意寫作、自動編程等，本論文標誌性的工作提供了重要指引與技術基礎。它不僅挑戰了生成模型的既定訓練范式，也激發研究者重構「智能生成」的理念，期待能引領後續世代生成模型更具前瞻性與創造力。

作者團隊亦已公開部分程式碼，促進研究社群共創並檢驗成果，為持續突破自然語言處理與生成技術瓶頸奠定堅實基礎。

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266