Are Emergent Abilities of Large Language Models a Mirage?

在近年大型語言模型（Large Language Models, LLMs）持續刷新自然語言處理（NLP）及相關應用的表現時，「突現能力」（Emergent Abilities）成為了社群高度關注的焦點。這些能力指的是模型在達到某個規模臨界值後，突然展現出之前無法或難以察覺的語言理解、推理、或特定任務處理能力，彷彿一種質的飛躍。然而，Schaeffer、Miranda 及 Koyejo 在 2023 年 NeurIPS 發表的傑出論文《Are Emergent Abilities of Large Language Models a Mirage?》提出一個大膽的問題：這些「突現能力」是否真如我們以為的那般存在？還是只是視覺錯覺或統計假象？

研究背景與動機

大型語言模型從數十億參數成長到數千億參數，其性能不僅線性提升，許多能力這種非線性、跳躍式的提升現象被稱為「突現能力」。例如，GPT 系列模型當參數超過特定門檻時，能顯著提升數學推理、跨語言轉譯甚至程序碼生成能力。這種突現現象被視為人工智慧邁向通用智能的重要指標。

然而，近期有研究提示這類突現不一定是真正的「新能力誕生」，可能只是數據噪聲、不充分的指標統計或任務選擇偏差所致。更嚴重的是，許多模型發展決策、調參策略和理論分析都建立在對突現能力真實性的假設上，如若錯誤，將導致資源錯置及研究方向偏離。為此，作者團隊提出要系統性檢驗「突現能力」概念，避免因誤判而陷入「幻影」。

核心方法與創新

本論文的核心創新在於提出了一套嚴謹、統計學與實驗設計相結合的鑑定框架，以判別所謂的突現能力是否真實存在。具體方法包括：

• 多任務、多尺吋的橫斷面數據檢驗：作者收集並合成來自不同模型尺寸、不同訓練階段、以及多樣任務的性能數據，避免單一任務或模型大小造成判斷誤差。
• 細緻曲線擬合與破裂點分析：透過局部回歸（local regression）、斷點迴歸（change point regression）等統計技術，尋找模型表現曲線中是否存在真正「階梯式跳躍」的破裂點，而非平滑遞增或隨機波動。
• 控制隨機性與統計置信度：導入隨機區塊抽樣與假設檢定，確保探測到的突現並非由資料噪聲或偶發事件造成，提升結果的統計信賴度。
• 跨數據集與跨任務驗證：檢驗突現點是否在不同語言、不同性質任務（如推理、語言生成、分類）中一致，強化是否存在普遍且可靠的突現機制。

此鑑別框架的主要貢獻，是打破過去僅基於「視覺判斷」曲線拐點的做法，提供量化、嚴密的標準，回歸科學探索的本質。

主要實驗結果

通過對多個公開大型語言模型（包含 GPT、PaLM、LLaMA 等不同架構與訓練規模）的全面分析，作者得出諸多令人震驚的結論：

1. 突現能力多為平滑增加：絕大多數任務的性能隨模型規模增加呈現連續、漸進提升，沒有明顯且統計顯著的「跳躍」點。先前被認為的突現其實更多是數據點稀疏及噪聲波動導致的錯覺。
2. 部分任務存在弱突顯現象：在極少數特定任務中，如語言推理某些子任務，確實觀察到一定程度的性能躍升，但這種躍升未必在所有任務或隨機重複實驗中穩定出現。
3. 突現點偵測受試驗設計影響大：不同的性能評估指標、數據擷取密度與訓練檢測範圍都可能極大影響是否判定為突現，顯示現有報告中的突現可能受實驗偏差誇大。
4. 突現能力的普遍認知需重新檢視：模型能力的發展應被視為更為連續且漸變的過程，而非突然出現質變，這將反思我們對模型能力成長曲線的基本認知。

對 AI 領域的深遠影響

此篇論文以嚴謹態度挑戰了當前 AI 界普遍接受的「突現能力」神話，具有以下關鍵啟示和長遠意義：

• 重塑模型能力成長理解：未來研究者在分析大型模型在不同任務上的能力時，將需以更嚴格的統計和實驗設計為基礎，避免受錯誤「突現」判斷誤導，促使更加精細地建模能力曲線與機制。
• 政策制定與資源配置的理性化：大型模型的研發成本極高，若錯誤理解能力突現，可能過早推動過大模型而忽略現有模型的潛力，論文提醒業界在投資與策略上要更加謹慎。
• 促進理論與實證的對話：此研究鼓勵學術社群發展更具可重複性和可驗證性的研究範式，在 AI 進步和能力驗證上，融合統計學、實驗設計和機器學習專業，避免輕信單次實驗結果。
• 推動能力解析與模型架構改革：既然突現不如預期明顯，未來或許要更聚焦於如何通過結構性改進提升模型泛化能力與任務專長，而非僅寄望於「模型規模拚大」帶來跳躍式提升。

總結來說，Schaeffer 等人透過精確的數據分析和嚴謹的統計方法，將引導 AI 研究從一個熱衷「奇點」和躍升的迷思，回歸連續、量化與可驗證的科學探索軌跡。這對AI領域理論基礎的鞏固和技術發展路徑的健康佈局有著不可估量的正面貢獻，因而當之無愧獲得 NeurIPS 2023 的 Outstanding Paper 榮譽。

---

論文資訊
📄 Are Emergent Abilities of Large Language Models a Mirage?
👥 Schaeffer, Miranda, Koyejo
🏆 NeurIPS 2023 · Outstanding Paper
🔗 arxiv.org/abs/2304.15004