Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction

在人工智慧及自然語言處理的領域中，語言模型（Language Model, LM）特別是基於「下一詞預測（next-token prediction）」策略的模型，已成為生成式 AI 的核心架構。然而，隨著技術快速推進，模型在生成內容的多樣性與創造力方面似乎逐漸遇到了瓶頸。換言之，現有下一詞預測機制內建的「短視」（myopic）特性限制了模型在某些需要遠見與創意跳躍的應用上發揮完整潛力。

本篇於 ICML 2025 獲獎的論文《Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction》由 Nagarajan 等人提出，針對語言模型在創造力上的天花板進行深入剖析，並且設計了一套簡潔而具代表性的「極簡演算法任務集」，作為檢驗與量化現有語言模型創造力限度的工具。這些任務以抽象知識圖與模式建構兩種方向，模擬真實世界中解決開放式、具探索性的問題時，所需要的遠見性規劃與隨機創作思考過程。

研究背景與動機

當前多數強大語言模型皆依賴最大化下一詞機率的方式訓練與生成，這種方法在很多任務上效果驚人，但同時也被認為是窄視的，因為每一步只依據目前狀態選擇最適合的下一個字元或詞彙，忽略了長期目標與整體結構的規劃。這導致模型在多步推理、複雜創意表達等場景的生成有限，且這種「隨機但有限」的生成策略限制了創新的彈性與深度。

作者觀察到，許多真實任務（例如文字遊戲中的雙關語、類比創作、學術研究探索、新數學題目設計、蛋白質構型設計等等）都需要隱含的隨機規劃步驟，跨越既有知識的框架，探索新穎的組合或模式形成。於是他們提出：要突破創造力限制，必須跳脫下一詞預測，採用多詞生成策略，甚至融合無教師監督學習及擴散模型等新興技術。

核心方法與創新點

本論文的核心創新在於設計了一系列「minimal algorithmic tasks」，這些任務的抽象性強，且計算簡單，能夠控制並觀察模型如何在開放式的環境中執行隨機規劃與創新。

這些任務大致分成兩類：

• 抽象知識圖探索：模擬模型需在一個隱藏的知識網絡中發現新的聯結，類似於人類進行語言雙關或創造類比的過程。
• 新模式及結構創建：例如設計新數學題目或創造新蛋白質序列，要求模型合成超越訓練資料的全新組合與結構。

在這些任務中，作者分別比較了傳統的「下一詞預測」模型與兩個多步生成策略：

1. 無教師監督訓練（Teacherless training）：不仰賴明確標註，模型透過自身生成與篩選學習長遠規劃。
2. 擴散模型（Diffusion models）：透過反覆去噪與逐步生成的方法，模擬隨機探索的多樣性與結構合理性。

此外，文章另闢蹊徑地提出「seed-conditioning」（種子調控）這一新技術，將隨機性噪聲注入模型輸入層，而非是在傳統的輸出溫度采樣（temperature sampling）上施加。實驗結果發現，這種方式不僅能引入多樣性且更好維持生成文本的連貫性，某些情況更勝於經典的溫度調整技巧。

主要實驗結果

透過多組任務實驗，論文從定量與定性兩方面展現重要發現：

• 下一詞預測的局限性明顯：在任務中，傳統的純下一詞預測模型表現出「短視化」傾向，無法有效產生多步遠見性的創新解決策略，生成多為守舊且模式重複。
• 多詞生成策略展現突破性優勢：無教師訓練與擴散模型在試驗的抽象推理與新模式建構任務中都達到比純下一詞預測更高的多樣性與原創度，顯示其更適合模擬複雜的創意探索過程。
• 種子調控策略提升生成品質：植入輸入層的隨機噪聲（seed-conditioning）能在保持結果合理性的同時，促進文本多樣化，相較完全依賴溫度調節，更具穩定性與效率。

值得注意的是，本研究同時開源了部分程式碼，促進後續學術社群在此測試床基礎上繼續擴充與驗證新算法。

對 AI 領域的深遠影響

此篇論文的貢獻不僅侷限於單純揭露下一詞預測的天花板，而是深刻指出了現有生成模型在面對「開放式、多步、遠見性」創意任務時的架構性瓶頸，強調必須引入超越單步最大機率決策的長期規劃與隨機性探索方法。

事實上，這樣的洞察對生成式模型設計思維具有啟發意義。從學術角度看，研究推動了對創新技術的理論理解，例如無教師訓練和擴散模型的潛力，為未來混合建模與多步生成演算法奠基；從工程實務角度，提供了更有效的創造力量化基準與種子調控策略，將有助於提升 AI 在文創、科學研究輔助、藥物設計等需要跳躍性思考領域的應用實力。

總結而言，Nagarajan 等人的工作提醒我們：「要讓 AI 不只是模仿，而真正具備創意，必須超越既有的行為模式。」未來生成模型的發展，將朝向複雜決策與隨機規劃的融合方向邁進。這不僅是技術演化，更是重新定義機器「智慧」範疇的重要里程碑。

---

論文資訊
📄 Roll the Dice & Look Before You Leap: Going Beyond the Creative Limits of Next-Token Prediction
👥 Nagarajan, Wu, Ding, Raghunathan
🏆 ICML 2025 · Outstanding Paper
🔗 arxiv.org/abs/2504.15266