Are Emergent Abilities of Large Language Models a Mirage? 深度解析

隨著大型語言模型（Large Language Models, LLMs）如 GPT-3、InstructGPT 等在自然語言處理領域中展現出驚人的能力，研究界開始注意到一個現象：部分能力似乎是在模型規模擴大到某一閾值後，突如其來地「冒出」的，這種現象被稱為「突現能力」（Emergent Abilities）。從小模型到大模型，某些任務的表現似乎非連續地飛躍，這樣的鋭變及其不可預測性，不僅引發了理論上的思考，也影響了人們對 AI 模型可擴展性和能力演進的認知。

不過，來自 Schaeffer、Miranda 與 Koyejo 於 NeurIPS 2023 的論文《Are Emergent Abilities of Large Language Models a Mirage?》卻從另一個視角挑戰了這個主流觀點。他們提出「突現能力可能是幻象」的假說，認為突現現象更多是所採用的評價指標（metric）特性所致，而非模型行為本質上的非連續變化。此論文榮獲 NeurIPS 2023 傑出論文獎，顯示其在 AI 理論理解上的創新價值與影響力，以下將針對研究背景與動機、核心方法、主要實驗，以及對 AI 領域的啟示做詳細介紹。

研究背景與動機

在大型語言模型持續擴大規模與訓練數據量的背景下，研究人員觀察到不少難以用連續、平滑函數描述的性能跳躍現象。這些「突現能力」具備兩大特點：一是「銳利性」，也就是性能指標在模型大小接近某閾值時，表現非平滑地突升；二是「不可預測性」，無法事先準確估計出現的規模與時機。這一發現促使學界對 AI 能力的擴展本質及其理論基礎提出質疑與探索，因為如果能力真是「突現」的，那麼模型設計、評估策略及安全性風險評估都有了新的挑戰。

然而，Schaeffer 等人認為現有的突現現象分析過度依賴特定的非線性或離散型績效度量指標。當評估指標本身包含非連續或跳躍性質，即使模型能力是平滑成長，也可能在數據分析中產生「假象」的突現效果。換句話說，突現可能只是「看事情的角度不同」而已，而非模型行為內在的跳躍改變。

核心方法與創新點

本文的核心貢獻在於提出一個簡潔的數學模型，系統性地分析「指標選擇」如何影響突現能力判定。作者假設模型的內在能力隨著規模是連續且平滑提高的，而非存在突點。接著，在此背景下，選擇不同類型的評價指標（線性 vs 非線性，連續 vs 不連續）來測量模型的表現，結果截然不同：

• 若指標為線性且連續，性能成長曲線平滑且可預測，無明顯跳躍現象；
• 若指標為非線性、跳躍性或不連續，則在某些模型規模附近可能突然出現「性能突增」的假象。

為了實證該數學模型推論，論文設計了三種實驗驗證途徑：

1. 針對 InstructGPT/GPT-3 系列模型，選取多個聲稱突現能力的任務，操弄績效指標來驗證指標性質對突現現象的影響。透過三項具體預測驗證指標的非線性質與突現現象間的因果關係；
2. 利用 BIG-Bench 大型基準測試集，進行突現能力的元分析。作者依據指標性質提出兩項指標選擇預測，並在統計大量任務表現上進行試驗驗證；
3. 跨足電腦視覺領域，透過選擇特定指標，在多種深度神經網路與視覺任務中創造史無前例的視覺「突現能力」，說明突現並非語言模型專屬，也可藉指標設計「塑造」出來。

主要實驗結果

多種實驗均明確證實指標的非連續、非線性形態顯著影響突現現象的浮現。具體結果包括：

• 在 InstructGPT 與 GPT-3 的「典型突現任務」中，使用連續指標後，性能曲線不再出現原本報導的階梯狀突升，呈現出平滑連續的成長曲線；
• BIG-Bench 的任務中，統計分析揭示過去標榜的突現能力任務多與離散分數或精度門檻指標有關，換成不同指標後突現效應顯著減弱或消失；
• 透過設計特定非線性指標，在影像分類、物體偵測等視覺任務中「人工」創造出類似突現現象，說明突現可能是指標「陷阱」，而非模型內在能力躍變。

此外，論文亦對現有突現理論提出挑戰，強調實際上 AI 模型擴展過程中能力提升多為系統性且可解釋的連續變化，突現可能是分析工具與觀察視窗的產物，提醒業界不宜過度迷信突現現象。

對 AI 領域的深遠影響

此篇論文在 AI 領域引發深刻討論，主要體現在：

• 重新審視突現現象的本質：突破傳統對模型能力急劇躍升的解讀框架，提示研究者必須更謹慎分析和選擇評價指標，避免誤將指標特性解讀為模型「本質」改變。
• 指標設計的重要性提升：今後模型性能報告與能力分析，將更重視指標的設計與解釋，推動社群建立更科學、嚴謹的評估方法與標準。
• 對理論模型與實踐的啟示：引導學界探索模型能力平滑成長背後的機制，有助於構建更加穩定且可控的模型擴展策略。理解能力成長的連續性，也能降低突現帶來的不可預測風險，提升 AI 系統的可靠度與安全性。
• 跨領域應用價值：突破單一語言模型範疇，將指標影響突現的概念成功應用於視覺任務，有助於統一不同 AI 子領域間對能力演進理解的理論框架。

總結來說，《Are Emergent Abilities of Large Language Models a Mirage?》透過理論建模與大規模實驗，提出一個革命性的新視角，強調所謂突現能力或許並非模型內在的驟變，而是「評價工具的幻象」。這一見解不僅促使 AI 研究方法學的反思，也為未來大型模型的設計與評估提供了更為堅實且謹慎的理論基礎。對工程師與研究者而言，理解這一論點，有助於科學解釋模型能力的演進規律，並避免落入由指標非線性假象所造成的認知誤區，推動 AI 領域向更加精準及理性的方向發展。

---

論文資訊
📄 Are Emergent Abilities of Large Language Models a Mirage?
👥 Schaeffer, Miranda, Koyejo
🏆 NeurIPS 2023 · Outstanding Paper
🔗 arxiv.org/abs/2304.15004