Are Emergent Abilities of Large Language Models a Mirage? 深度解讀

近年來，隨著大型語言模型（Large Language Models, LLMs）如 GPT-3、InstructGPT 等在各式自然語言處理任務中表現出色，研究社群相當關注一項被稱為「突現能力」（Emergent Abilities）的現象。這些能力在較小規模模型上並不存在，卻在模型規模急遽擴大後突然出現，且通常以銳利、近乎斷崖式的變化呈現，且其出現的臨界點往往無法提前預測。這種突現能力被質疑為大型模型突然跨越某種質變門檻的指標，因而受到高度關注與研究。

然而，在 NeurIPS 2023 上發表的論文《Are Emergent Abilities of Large Language Models a Mirage?》（作者：Schaeffer, Miranda, Koyejo）提出了挑戰傳統認知的全新觀點。該論文榮獲 NeurIPS 傑出論文獎，其核心主張是：所謂的「突現能力」很可能並非模型能力本質的質變，而是研究者在「評估指標選擇」上的幻象（mirage）。換句話說，這些突現表現很可能是由於「非線性」或「不連續」的評估指標所產生的錯覺，若改成線性且連續的指標，模型性能隨規模的提升其實是「平滑」且可預測的。

研究背景與動機

語言模型規模從千萬參數一路擴增到百億甚至兆級別參數時，研究人員觀察到在某些任務（如多輪推理、複雜句法分析、數學問題解題等）中，模型能力並非緩緩進步，而是呈現跳躍式的突現。例如，模型在某個參數規模以下完全無法完成特定任務，但只要超過某個臨界點，表現便劇烈提升至可用水準。這引發對深度學習模型「規模效應」和「能力質變」的理論思考與技術探索。然該現象背後是否真有某種內在架構或認知層次的劇變，尚存在疑義。

本論文反問：突現能力是否是模型本身的根本行為變化，或只是分析方法與指標的產物？這一問題觸及 AI 能力測量根基，也對模型設計、選擇與未來擴展估計有重大意義。

核心方法與創新

論文中，作者首先建立一個簡化的數學模型，呈現在「不同類型評估指標下」，如何導致同一組固定模型輸出表現被解讀為「有無突現能力」的差異。核心在於區分「非線性／不連續指標」與「線性／連續指標」兩種評估度量。

• 非線性、不連續指標會在模型表現跨過某閾值時，數值突變，使得性能看似從無到有（或幾乎無到極佳）的跳躍，創造具體突現感。
• 相反，線性或連續指標下，性能進展是平滑連續的，並且可用解析或統計方法預測。

基於此模型假設，論文進一步以三種方式檢驗說法：

1. 實驗驗證—InstructGPT/GPT-3 家族：針對多個宣稱存有突現能力的任務，作者在不同指標選擇下驗證突現能力的存在與消失，並對三个預測進行檢測，皆得到支持。
2. 大規模資料庫統計分析—BIG-Bench：對該涵蓋多種 AI 能力測試的大型數據庫進行後設分析，驗證不同指標選擇下突現能力的普適性與脆弱性。
3. 跨領域驗證—視覺任務實驗：在多個深度視覺模型與相關任務中，透過巧妙指標設計製造與「突現能力」相似的表現，進一步佐證指標影響的普遍性。

主要實驗結果

由上述三管齊下的實證研究，論文展示出明確結果：

• 對 InstructGPT 和 GPT-3 家族在若干 NLP 任務中，運用線性連續指標後模型的性能曲線變得光滑且無跳躍，對比過去突現的曲線呈顯著差異。
• BIG-Bench 的大量測試任務中，透過更嚴謹的評估指標與更充分的統計樣本，多數突現案例皆可被重新詮釋為連續進步。
• 視覺模型中有意義地選擇指標，也能「製造」出過去未被注意的突現假象，這也強調了突現現象與任務本質無必然關聯，而與評價方式關聯更大。

整體而言，論文質疑了以往認為「模型能力會在某規模突破天花板」的解讀，指出突現現象極大程度上與評估指標的選擇相關，並非模型能力本身的質變。

對 AI 領域的深遠影響

此研究對 AI 尤其是大型語言模型及其能力研究具有深遠意義：

• 重新思考「能力突現」本質：過去許多大型模型的爆炸性提升與能力突現被視為模型本質變化的證據，本論文提醒研究者不只聚焦模型本體，更需謹慎檢視評估標準和方法學。
• 驅動評估指標革新：研究強調指標設計對性能解讀的關鍵影響，促使社群重新重視性能曲線的連續性與解析度，也推動更科學、嚴謹的模型測試標準建立。
• 影響模型發展策略與預測：模型擴大規模往往耗資巨大，理解能力提升是否真有斷層突破，有助於合理配置資源和制定擴展策略。若能力真是平滑提升，則可透過插值預測未來模型表現，避免過度期望或誤判。
• 啟發跨領域評估思考：視覺領域的同樣現象驗證了指標問題的普遍性，未來多模態與跨模態系統性能研究也需防範類似誤導。
• 增強對 AI 能力本質的理論基礎建設：以數學模型解析能力變化，為 AI 理論與實驗結合建立典範，促進理解複雜系統規模效應的規律與限制。

總結來說，《Are Emergent Abilities of Large Language Models a Mirage?》論文為大型語言模型突現能力現象提供了一個顛覆性且嚴謹的替代理論視角，並通過多角度嚴謹實證加以驗證，促使 AI 社群更全面地審視模型能力評估方法及其內涵。這不僅對理論研究具有里程碑意義，更對實務工程與模型部署決策帶來深刻啟發，為未來 AI 系統的可解釋性與可靠性研究奠定重要基石。

---

論文資訊
📄 Are Emergent Abilities of Large Language Models a Mirage?
👥 Schaeffer, Miranda, Koyejo
🏆 NeurIPS 2023 · Outstanding Paper
🔗 arxiv.org/abs/2304.15004