Language Models are Few-Shot Learners (GPT-3) 深度簡介

在自然語言處理（NLP）領域，長期以來的主流作法是先透過大規模文本語料進行預訓練，然後再針對特定任務用大規模標註資料進行微調（fine-tuning），以達成優秀的任務效果。這種典型流程如BERT或GPT-2等模型廣泛應用於翻譯、問答、摘要等多項任務，且在眾多標準測試集上創下了當時的最佳表現。然而，這種微調策略面臨一項重大挑戰──需要大量標註數據和額外運算資源，對於新興任務或語言，往往難以取得充足的標註資料，並且降低了模型部署的靈活度。

對比之下，人類在學習語言及解決問題時，經常能從少數幾個範例或僅憑簡單指令就快速掌握任務要義，展現出強大的「少量示範學習」（few-shot learning）能力。這種能力在當時的 NLP 模型中仍屬缺乏，研究者期待如何提升模型在無需微調的條件下，藉由少量示範或自然語言指令達到良好效果。

本論文《Language Models are Few-Shot Learners》由 Brown 等人於 2020 年發表於 NeurIPS，並榮獲 Outstanding Paper，提出了迄今參數規模最大的自回歸語言模型——GPT-3（Generative Pre-trained Transformer 3），其內含 1750 億參數，約為先前最大模型的十倍。GPT-3 透過海量網絡文本進行無監督預訓練，不採用任何針對具體任務的微調，而是透過「少量示範學習」設定評估模型能否直接從文字提示中推斷任務規則並完成任務。

核心方法與創新

GPT-3 採用 Transformer 架構，並在規模上進行爆炸性擴大。關鍵創新在於：

• 大規模參數：GPT-3 有 1750 億參數，超越過去所有非稀疏語言模型，模型容量帶來的表現提升尤為明顯。
• 少量示範學習（Few-Shot Learning）：在推斷過程中，模型不執行任何梯度更新，也不做微調，而僅透過提示語中的少量範例（通常 1~100 個），使模型理解任務格式與要求。這種設定能顯著減少微調成本，並拉近機器學習與人類學習的差距。
• 純文字接口設計：任務示範與查詢都以自然語言文本提供，模型可藉由語境自動調整行為，無需為不同任務設計特殊架構或新模型。

實驗結果

研究團隊在多種標準 NLP 任務上對 GPT-3 進行評測，涵蓋語言翻譯、閱讀理解、填空測試、常識和邏輯推理，甚至有包括新詞使用、文字解謎及三位數加法等需要即時推理的挑戰。成果包括：

• 少量示範的強大性能：GPT-3 在缺乏任何微調的情況下，利用少量示範已達到或接近先前針對任務微調後的最佳成績，尤其在文本生成及問答類任務表現優異。
• 零示範（Zero-Shot）和單示範（One-Shot）能力： 模型僅給出任務說明（零示範）或一個範例（單示範）時，也能展示相當水準的理解與生成能力，展現強大的泛化能力。
• 多樣化任務適應：GPT-3 能在不同行業背景和語境下應對新任務，部分需要即席動態推理的任務也獲得突破，顯示超大模型的多面向潛力。
• 生成文本的高品質：GPT-3 產出的新聞文章及故事其自然度與流暢性令人工評閱者難以與人類撰寫文本區別，此結果顯示語言模型在自然語言生成領域已達到前所未有的水平。

然而，實驗也揭露 GPT-3 少數弱點，包括對某些對知識依賴性高或需精確數理推理的資料集仍不理想，同時模型難免受到網絡資料偏見和方法論限制的影響。

對 AI 領域的深遠影響

GPT-3 的出現象徵著自然語言處理從微調式模型向「大規模預訓練+少量示範」的新範式轉變，具有多方面的深遠影響：

1. 降低任務部署門檻：工程師和研究者可藉由簡單提示文字迅速讓 GPT-3 執行不同任務，無需巨量標註數據與微調模型，顯著加速新應用開發和實驗迭代。
2. 促進通用語言模型研究：結果印證「規模至上」的理論基礎，激發業界競相打造更大規模與更通用的語言模型，轉向將模組性與提示工程結合來解決廣泛任務。
3. 挑戰人工智慧的定義與範疇：GPT-3 展示了前所未有的泛化學習與推理能力，引發學術界和產業界對語言智能本質及如何衡量「理解」的討論。
4. 倫理與社會影響的警示：高質量的自動生成文本可能被用於假新聞、詐騙或其他不當用途，促使社會監管、模型透明度以及公平性的相關議題更加重要。

總結而言，GPT-3 開創性地將語言模型推至龐大規模，並且證明了此類巨量模型本身能夠透過少量示範完成多樣任務，無需再依賴繁重的標註與調整，為自然語言處理帶來革命性的轉變。這不僅實現了機器理解和生成的巨大飛躍，也揭開下一波人工智慧研究與應用的廣闊前景。

參考資料： Brown, T. et al. "Language Models are Few-Shot Learners", NeurIPS 2020, https://arxiv.org/abs/2005.14165

---

論文資訊
📄 Language Models are Few-Shot Learners (GPT-3)
👥 Brown, Mann, Ryder, Subbiah, Kaplan et al.
🏆 NeurIPS 2020 · Outstanding Paper
🔗 arxiv.org/abs/2005.14165