Are Emergent Abilities of Large Language Models a Mirage? 深度解析

近年來，隨著大型語言模型（Large Language Models, LLMs）如 GPT-3、InstructGPT 的蓬勃發展，研究界對於其「突現能力」（emergent abilities）現象產生高度興趣。這些能力指的是在模型達到某特定規模後，突然出現且在較小規模模型中完全找不到的行為或解題能力。此類能力不僅看似「突然而來」，且無法用簡單線性預測模型行為的演進，因而被視為大型模型生成智能的關鍵特徵之一。

論文《Are Emergent Abilities of Large Language Models a Mirage?》由 Schaeffer、Miranda 與 Koyejo 於 NeurIPS 2023 發表，並獲得 Outstanding Paper 獎項，挑戰了目前對 LLM「突現能力」的主流認知。本文認為，這些被視為「突現」的能力，實際上可能是研究者於「指標選擇」上的一種錯覺，其非模型本質行為的突變，而是量化方式的不當或誤導所致。本文不僅提出理論模型，並運用大量實證分析驗證此一核心觀點，為 AI 領域帶來了重要反思與啟示。

研究背景與動機

過去在大型語言模型和其他深度學習模型的規模拓展研究中，研究者發現模型性能並非線性遞增，某些複雜任務的解決能力會在模型參數量達到某臨界點後突然顯現，例如數學推理、程式碼生成等。這種突然的性能躍升被形容為「突現能力」。由於這種現象在 AI 智能發展中意味著量變引起質變，因而在學術界與產業界引起高度重視，也催生大量後續探討如何預測及培養這些能力的工作。

然而，這裡存在重要疑問：「這些突現的能力，是否真的是模型行為的本質變化？還是其中夾雜了指標設計與實驗分析上的偏誤？」本論文正是為解答此疑問而生，被許多先前研究忽視或未充分討論的指標問題成為了作者的著眼點。

核心方法與創新

作者提出的核心觀點是：突現能力的「突然爆發」更多源於指標（metric）的非線性或不連續性，而非模型性能本身在尺度變大時的本質不連續改變。換言之，如果改用一種線性且連續的指標，模型性能隨規模的增長將呈現平滑且可預測的演化，突現現象將不再明顯。

為支持這一觀點，作者從數學角度建立一個簡化模型，說明如何利用不同形式的指標（連續 vs 不連續）影響對「能力是否突現」的觀察結果。這種理論模型幫助理解為何即使模型內在表現緩慢遞增，某些指標會呈現近似於「閾值式」的跳變行為，進而錯誤被解讀為突現能力。

接著，論文從三個層面進行實證驗證：

1. 在 InstructGPT/GPT-3 系列和聲稱存在突現能力的任務中，對比不同指標的行為，展現其指標選擇如何影響突現現象的觀察與強度，並驗證數學模型所預測的趨勢。
2. 進行對 BIG-Bench（一個涵蓋多種任務及評估指標的大型基準壇）的元分析，檢驗大量不同突現能力報告的指標類型與統計結果，確認指標設計確實主導對「能力突現」的判定。
3. 將此方法論擴展到視覺任務及其他模型架構中，選擇特定指標能產生此前未被報告過的「虛假突現能力」，強調該現象並非語言模型獨有，而是普遍存在於模型評估的指標設計中。

主要實驗結果

首先，在 GPT 系列模型的多個自然語言任務中，將性能指標從原本的二值分類成功率或粗糙等級，改為連續分數或概率形式後，性能變化曲線變得更加連續且平滑，不再具有鮮明的「門檻躍變」。

於 BIG-Bench 的元分析結果顯示，眾多宣稱的突現能力，往往依賴於特定的非線性閾值指標。當改採其他更平滑或連續的度量方法時，突現現象的強烈度顯著降低甚至消失。

最後，在不同視覺任務和多種深度架構中，通過設計特殊指標，作者成功「觸發」本不存在的突現現象，強調此類現象易受指標設計操控，並非真正的模型能力質變。

對 AI 領域的深遠影響

本論文從根本上挑戰了「大型模型突現能力」作為人工智能重要里程碑的普遍觀點。過去對這類突現能力的興奮與追求，常建立在對不當指標的誤解上。作者指出，研究者必須更審慎地思考性能度量的合理性與選擇，避免被指標本身的數學特性誤導。

這對 AI 研究具有多方面影響：

• 理論層面： 突現能力不再被視為模型能力本質上的「跳躍」現象，而更可能是性能曲線平滑變化下的「度量錯覺」，促使社群重新定義與評估模型智能表達的本質。
• 方法論層面： 未來 AI 能力演變研究必須兼顧指標設計的合理性與敏感性，並且多維度評估模型表現，避免單一指標帶來的認知偏差。
• 實務操作層面： 在產業界選擇大型模型部署時，應更加謹慎解讀模型規模提升帶來的性能「躍變」，避免高期待導致的效果落差。更科學的性能度量將促進模型選型與產品落地的理性決策。

總結來說，本論文不僅為「大型模型突現能力」現象提供了全新解讀框架，也強調科學實驗中「指標設計」對結果詮釋的重要性。這種洞見促使整個 AI 領域反思及精進研究方法，有助於推動更穩健、透明的人工智慧發展。

---

論文資訊
📄 Are Emergent Abilities of Large Language Models a Mirage?
👥 Schaeffer, Miranda, Koyejo
🏆 NeurIPS 2023 · Outstanding Paper
🔗 arxiv.org/abs/2304.15004