Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

在當前生成式人工智慧的熱潮中，以大規模語言模型（Large Language Models, LLM）為代表的生成技術，透過「next-token prediction（下一詞預測）」驅動，已在多種任務中達到前所未有的成效。然而，這種以逐詞生成模式作核心的訓練和推論架構，因其根本的「短視」特性，受到限制：對於需要長期規劃、抽象聯想及開放式創新思維的複雜創作任務，模型往往無法跳脫有限的連續分佈，缺乏真正的創造力與多樣性。2025 年 ICML 傑出論文《Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction》由 Nagarajan, Wu, Ding 和 Raghunathan 提出了一套既簡潔又具挑戰性的算法性任務與理論分析，深入探討並突破了現有 next-token 預測框架的創新極限。

研究背景與動機

現有主流基於 Transformer 架構的語言模型以「最大化下一個字詞出現機率」為目標，訓練過程與推論生成均建立在局部條件式概率分佈上。儘管這種方法在語言理解和生成、對話回應、文本補全等任務中表現卓越，但其本質仍屬「貪婪」且缺乏全局視野。在真實世界中，創作型任務經常要求模型跳出當前狀態作思維遠躍，具備隨機探索未知領域與連結多種抽象概念的能力。例如，在玩文字遊戲(wordplay)、製作數學題目、構思新型蛋白質結構時，挑戰不只是「接著說什麼」，更是「如何跳出固定路徑探索新穎解」。論文指出，傳統的 next-token 預測框架固有的「單步判斷、短視近憶」導致模型難以有效進行這類開放式隨機規劃。

核心方法與創新

作者團隊設計了一套抽象化的最小算法性任務，模擬了多種需要創意「隨機規劃」的真實世界挑戰。這些任務分為兩大類：

• （a）在抽象知識圖上隱含開放式連結發掘：此類任務模擬類比推理、文字遊戲中找尋潛在關聯的過程。
• （b）生成新穎的結構模式：如數學題目設計或新蛋白質序列組合，強調正確性與創造性的權衡。

透過對這些任務的嚴謹實驗，作者從理論與實證層面指出，傳統的 next-token 預測在短期視角內達到局部最優，卻難以實現長遠且隨機的遠見計劃。相比之下，採用「multi-token」（多步輸出）策略的模型顯著提升了多樣性與創造性。具體方法包括：

• 無教師訓練（Teacherless training）：減少對現有標籤資料的依賴，強化模型的自主探索能力，使生成結果不被固定答案拘束。
• 擴散模型（Diffusion models）：引入基於隨機過程的多階段生成方法，透過漸進細化達到更豐富的隨機組合和多樣化結果。

此外，論文挑戰了生成時常用的「溫度抽樣」（Temperature sampling）策略，提出了「種子條件注入（seed-conditioning）」的新方法：即在模型輸入層注入合適的噪聲，與直接在輸出層調節溫度相比，種子噪聲注入在維持語義連貫性的同時，更有效誘發隨機性和創新。這一創新策略在某些條件下甚至超越了傳統溫度抽樣的表現，展示了更靈活的隨機與規劃平衡機制。

主要實驗結果

作者在一系列精心設計的模擬任務中，系統性驗證了多方法的創造力與多樣性表現：

• 在抽象知識圖尋路及類比推理任務中，多步驟無教師策略與擴散模型相比單一「next-token 預測」展現出更豐富的探索能力與更高的創造性指標。
• 在生成新穎模式的任務中，種子條件注入策略提供了更穩定且多樣的創作選項，克服了傳統溫度調整時易產生語法錯誤與流暢度下降的困境。
• 整體上，論文所提出的測試框架和評價指標為深入量化語言模型在開放式創造任務的表現提供了前所未有的標準。

對 AI 領域的深遠影響

這篇論文的重要價值，在於首次以極簡演算法任務作為思考和實驗平台，清晰揭示了「next-token 預測」范式在應對真正開放創造性問題時的天花板與瓶頸。透過多步規劃與隨機探索方法的引入，不僅指出了語言模型未來發展的潛在方向，更為生成模型訓練和推論策略提供了根本性反思。

具體來說：

• 論文鼓勵研究者從「局部最優」的短視生成轉向具備長期策略思考的多步生成方法，這有助於開發能更好應對開放式創作、科學研究、策略決策等複雜人類任務的 AI。
• 種子條件注入作為一種全新誘發隨機性的方法，不僅能應用於生成式語言模型，也可延伸至圖像、音樂等多模態生成領域，開創性地平衡隨機與連貫性兩大核心需求。
• 此工作提出的最小任務測試床，為未來研究在創造力與多樣性方面的性能評估提供規範化標準，有助於建立更公平和具挑戰性的基準。
• 更廣義地，本研究結果推動 AI 社群重新思考訓練目標和生成策略，意味著突破既有大型語言模型的限制，朝向更具人類式創造性和智慧的人工智能邁進。

總結而言，《Roll the Dice & Look Before You Leap》 以堅實理論與豐富實驗揭示了下一詞預測技術的限制，並提出可行替代與補充方案，為生成式 AI 的未來發展指明一條具創新性與實用價值的方向。對所有希望提升生成模型創造力與多樣性的研究者和工程師而言，這篇論文是不可錯過的重要里程碑。

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266