Are Emergent Abilities of Large Language Models a Mirage? 深度解析

近幾年大型語言模型（Large Language Models，LLMs）如 GPT 系列的迅速發展，不僅提升了自然語言處理的整體性能，也催生了「突現能力」（emergent abilities）一詞。這些所謂的突現能力指的是模型在某個規模臨界點後，突然展現出小規模模型無法表現的技能，且這種轉變既急劇又難以預測。例如，GPT-3 在某些複雜推理或指令理解任務上，展現出過去模型難以達成的表現，令人驚嘆。這種能力的發現，激起了學術界與產業界對 AI 模型規模擴展效應的新一波熱烈討論與研究。

然而，來自 Schaeffer、Miranda 與 Koyejo 等人在 NeurIPS 2023 發表的論文《Are Emergent Abilities of Large Language Models a Mirage?》提出了對「突現能力」現象的全新批判性觀點，並榮獲當年傑出論文獎（Outstanding Paper）。本文將深入解讀這篇論文，從研究背景、方法創新、實驗設計與結果，到對 AI 研究路徑的潛在啟示，為讀者提供全面且深入的理解。

一、研究背景與動機

過去的研究常以模型在不同規模下的表現變化作為推論基礎，若在小模型表現極差、而稍大模型表現突然躍升，便認為該能力是「突現」的。然而，Schaeffer et al. 指出，這種突現現象可能並非模型能力本質層面的飛躍，而是取決於「評估指標」的設計。換句話說，透過非線性或不連續的評分標準，我們或許誤將連續的進步視為「突現」，導致研究者誤判。此種懷疑挑戰了當前 AI 社群對大型模型能力演進的理解，對未來模型架構設計、評估方法乃至模型可預測性理論均有重要意義。

二、核心方法與創新

論文核心創新在於提出了一個簡化的數學模型，說明如何因評估指標的選擇，導致評測結果看似突變。具體而言，作者將「模型尺寸」作為自變數，假設模型性能在本質上平滑且連續地沿此變數改變；然而，若將性能數值映射至非連續函數（如二值分類的「成功與否」指標或門檻式激勵），原本連續的數據曲線便可能產生銳利轉折，類似於「突現」。

基於此洞察，研究團隊設計了三大驗證策略：

• 實際模型驗證：針對 InstructGPT/GPT-3 家族在有名的突現能力任務上，嘗試調整或更換表現評估指標，檢視突現現象是否仍保留。
• BIG-Bench 元分析：BIG-Bench 作為多任務基準，廣泛收錄了各種規模模型的表現資料，作者對現有突現能力案例的評估指標進行系統分析，提出並實驗驗證了多個與指標選擇相關的預測。
• 視覺領域實驗：將指標選取對突現現象的影響延伸至影像任務與深度網絡，展示可任意設計似曾相似的始料未及「突現」能力，印證該現象非語言模型專利。

三、主要實驗結果與論證

三大驗證策略結果一致支持論文核心觀點：

1. 使用線性且連續的評估指標時，模型性能隨規模呈現平滑且可預測的提升，並無明顯突現點。
2. 以非線性或非連續指標衡量，性能曲線逼近硬門檻效果，形成明顯突變，從而產生「突現能力」幻象。
3. 在 BIG-Bench 綜合數據中，部分被宣稱為突現能力的任務，透過調整指標後，其突現特徵大幅減弱甚至消失。
4. 視覺領域的實驗顯示，突現能力並非語言模型獨有現象，而是普遍可透過刻意挑選非線性指標「製造」出來的假象。

這些結果挑戰了「繁複任務技能自然產生於大型模型」的主流認知，提出：突現能力很可能是數據詮釋偏誤與評估設計產生的投射，而非模型內部能力的根本突破。

四、對 AI 領域的深遠影響

此篇論文帶來的啟示，不僅是對大型語言模型能力的重新認識，更關係到 AI 研究方法論的反省與革新：

• 評估標準的嚴謹性：AI 模型性能不應依賴單一指標而論斷，尤其是評估指標需避開非線性突變性，以防止誤判真正的能力演進路徑。
• 模型規模與能力的關係：擴大規模雖然可提升模型表現在多數任務，但「突然出現」的能力依賴指標解讀，未必意味著模型內部機制有質的飛躍。
• 研究社群方法論建議：鼓勵未來突現能力相關研究應結合數學基礎分析、多指標評估，以及跨模態的驗證，杜絕表面現象對研究方向的誤導。
• 啟發模型設計與理論推進：了解真正的能力漸進規律，有助於設計更具可預測性且可解釋性的 AI 系統，推動 AI 理論向「規模—能力」定量模型的完善發展。

綜合來說，Schaeffer et al. 提出的大膽理論與嚴謹實驗，不只是對大型語言模型性能分析的一次重要校正，更是 AI 研究者尋求真相、不盲信表象的寶貴範例。對於任何關心 AI 領域長遠發展的工程師與研究生來說，深入理解「突現能力是一場幻影」的核心論點，將有助於建立更扎實的研究框架與未來方向判斷。

這篇論文也提醒我們，隨著 AI 模型日益龐大與複雜，評估方法論與數學模型的結合將成為關鍵，唯有如此，才能精確區分真正的能力突破與因評估指標引起的假象，理清 AI 發展的路徑與未來。

---

論文資訊
📄 Are Emergent Abilities of Large Language Models a Mirage?
👥 Schaeffer, Miranda, Koyejo
🏆 NeurIPS 2023 · Outstanding Paper
🔗 arxiv.org/abs/2304.15004