Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

在當今自然語言處理（NLP）及生成模型領域，基於「下一詞預測」（next-token prediction）的語言模型如 GPT 系列已成為主流，廣泛應用於文本生成、對話系統以及創意輔助工具。然而，這類模型其實存在固有的「近視」限制，因為模型每次只關注生成序列中的下一個詞元，無法長期規劃或進行更具遠見的創新思考。Nagarajan 等人於 2025 年 ICML 頂會發表的傑出論文《Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction》正是針對此問題提出深刻洞察與嶄新解決方案。

研究背景與動機

現有語言模型在很多創造性任務（例如文字遊戲、類比推理、設計數學問題或新蛋白質結構）中，易受困於「局部最優解」，難以跳脫單步詞元生成所帶來的框架束縛。現實世界的創新往往要求系統能進行開放式的隨機規劃與遠見推演，而非僅依序生成下一詞。這種創造性跳躍意味著模型需要在抽象知識圖或結構模式中發現新連結，或直接構建全新型態，這是目前純基於下一詞預測的訓練機制難以達到的。

此外，現行生成手段多依賴溫度采樣（temperature sampling）以引入隨機性，卻可能犧牲連貫性，造成生成文本質量下降。因此，如何在保持語義流暢性同時，驅動模型產生真正具多樣性和原創性的文本，是本研究的核心動機。

核心方法與創新

作者首先設計了一組極簡的演算法任務作為測試基準（test-bed），這些任務雖然抽象，但模擬了現實世界中開放式創新所需的隨機規劃過程。具體而言，任務可分為兩類：

• 類型一：在抽象知識圖中探索新連結，如類比推理與詞彙遊戲。
• 類型二：建立新模式，如數學題目設計或蛋白質構建。

這些任務的設計允許作者有條件、可控地量化與分析模型在「創造性」上的表現與限制。

論文核心揭示：基於下一詞預測的模型在上述任務中本質上是「短視」，難以完成必要的多詞長期規劃。相較之下，「無教師訓練」（teacherless training）和擴散模型（diffusion models）等多詞生成架構，因其固有的結構與訓練方式，更擅長產出多樣化且原創的結果。

此外，作者提出「種子條件化」（seed-conditioning）這一方法——將噪聲注入輸入層，而非傳統的輸出層溫度采樣技術。實驗顯示，此方法在維持生成文本連貫性的同時，能引導模型探索更廣泛的創新空間，有時甚至優於溫度采樣，成為一種有效的隨機性引入機制。

主要實驗結果

在設計的多組創意任務評測中，論文系統性地比較了下一詞預測模型、多詞生成架構及不同隨機性激發策略的效果：

• 下一詞預測模型在生成的多樣性與創新性上表現呆滯，往往陷入安全區塊，只能做出微創新。
• 無教師訓練架構和擴散模型在抽象圖結構探索及新模式構建任務中明顯超越下一詞模型，體現了更強的規劃能力與創造力。
• 種子條件化在多個任務中有效提升了生成文本的原創程度，並維持或提升了語義連貫性，相較經典溫度采樣，展現出令人驚喜的優勢。

作者同時做了豐富的理論分析，解釋為何下一詞預測生成的「短視性」是導致創作能力侷限的關鍵因素，並且提出多詞規劃和噪聲注入的數學理論基礎。

對 AI 領域的深遠影響

這篇論文在 AI 尤其是生成模型與創造力研究領域產生了重要啟示。首先，它清楚指出了當前主流大模型訓練機制的「盲點」——下一詞預測既是成功關鍵，也是限制創新的瓶頸。透過嚴謹的抽象任務設計與系統實驗，作者提供了第一手的量化證據與理論論述，揭示生成模型在創造力方面的內在限制。

其次，論文強調了跨越此瓶頸的潛在路徑：多詞規劃型訓練方法（如擴散模型與教師自由學習）以及種子條件化噪聲注入技術。這些技術不僅能大幅提升模型生成的結果多樣性，還能更好地模擬人類進行創新發散時的思考過程，進而推動 AI 創造力的質量飛躍。

最後，本文提出的極簡測試基準為未來評估 AI 開放式創造力提供了一個標準框架，促進了該領域的規範化與理論化發展。這對促進生成模型向「更智能、更具遠見」方向演進具有里程碑意義，對研究者和產業界都具有很高的參考價值。

整體而言，Nagarajan 等人的研究為超越現有模型限制、打造具備長期規劃和創新能力的生成 AI 奠定了堅實基礎，成為未來 AI 創造力研究的新航標，也代表 ICML 2025 傑出論文的高水準。

若欲深入瞭解更多細節，可參考論文原文及附帶的開源程式碼：https://arxiv.org/abs/2504.15266

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266