Scaling Data-Constrained Language Models

隨著大型語言模型（Language Models, LM）在自然語言處理（NLP）領域的成功，模型參數量與訓練資料規模持續擴大已成為主流趨勢。過去的研究普遍認為，增加訓練資料量以及對模型增強「算力（compute）」投入，是提升模型性能的關鍵。但近期一個重要觀察點是，網路可用且有效的文字資料或許即將成為提升性能的瓶頸，使得語言模型訓練將不得不面臨「資料不足」的限制。NeurIPS 2023 年 Muennighoff 等人所提出的〈Scaling Data-Constrained Language Models〉一文，正是在此研究背景下，針對「資料限制」的情境，深入探討如何有效擴展語言模型的訓練。

研究背景與動機

大型語言模型如 GPT、PaLM 等，普遍依賴龐大文字數據（數千億至兆級字元）進行預訓練，藉此捕捉語言的統計規律。然而，隨著資料集越來越大，擴展空間逐漸受限於可取得的公開資料量與其品質保障。這造成一個極為關鍵且具前瞻性的問題：當語言模型訓練資料變得稀缺甚至受限時，還有沒有可行的訓練策略與擴展定律，能使模型繼續走向更大規模和更佳表現？

在此背景下，作者設定了「資料受限（data-constrained）」的實驗場景，燒錄研究焦點在「資料重複利用」與「訓練算力分配效益」上。重複利用有限資料以多個訓練輪次（epoch）餵給模型，是否會嚴重阻礙訓練效果？在一樣的算力預算下，應如何調整模型大小與資料使用策略，才能獲得最優訓練結果？這些問題的解答對於實務應用，特別是資源受限環境（如非英文語言、專業語料少的情境等）具有相當高度的價值。

核心方法與創新

此研究的核心方法涵蓋三大面向：

1. 大規模實驗設計：作者進行超過400次訓練實驗，模型參數量涵蓋從小型到大型（最高約90億參數），訓練資料token數高達9000億。實驗中，重點調查在固定算力（FLOPs）下不同資料重複次數（epoch數）對模型訓練損失的影響。
2. 提出新的擴展定律（Scaling Law）：基於實驗結果，作者建立一套數學模型來描述因資料重複帶來的效率衰減，明確指出過度重複資料會使得額外算力的價值遞減甚至歸零。此外，擴展定律還考慮了過度參數化帶來的邊際效益下降，為資料受限情景下的模型與算力配置提供理論依據。
3. 資料匱乏應對策略：作者探索多種緩解資料限制的方法，包括加入程式碼資料增強語言模型訓練訊息、多元化資料來源，以及移除一些過度嚴苛的資料清洗過濾器來擴大資料集規模。這些策略旨在提升資料豐富度與多樣性，以瓦解「資料限制」的瓶頸。

主要實驗結果與發現

本論文的實驗中，最令人印象深刻的發現有：

• 有限次數的資料重複相對影響小：在固定算力預算條件下，重複訓練資料約4個epoch，模型在訓練損失上的下降幅度和使用完全獨特資料相差無幾，這表示有限重複利用資料是可行且相對經濟的策略。
• 過度資料重複導致效率急劇下降：當epoch數超過4後，算力的使用效益迅速降低，也就是說額外的算力投入不再換來明顯的模型表現進步，甚至會出現「算力浪費」。
• 擴展定律有效刻畫模型訓練曲線：作者提出的scaling law可以準確預測不同資料重複度和模型尺寸下的訓練損失走勢，協助後續研究在資料有限情境中進行模型與訓練策略規劃。
• 引入程式碼資料及放寬資料過濾提升效果：增加程式碼類語料（如GitHub上的原始碼）進行混合訓練，有助於提升語言理解與生成能力，而放寬過度清洗的過濾條件則在一定程度上增加了可用訓練資料量，進而改善模型效能。

對 AI 領域的深遠影響

此篇論文揭示了自然語言模型訓練在資料資源逐步枯竭背景下的應對方向，具有以下重要意義：

1. 顛覆既有「更多資料就是更好」的直觀印象：論文明確指出，訓練資料的質與量需有合理平衡，重複資料有其極限，簡單堆疊資料數量已非提升模型效能的唯一途徑，這促使整個NLP社群反思資料使用效率。
2. 為模型擴展與系統設計提供科學依據：透過精確的擴展定律公式，工程師可以更合理地配置模型大小、重複資料次數與算力，避免資源浪費，進而在資源有限環境下獲得「以量制戰」的效益最大化方案。
3. 推動多模態與跨領域資料的融合利用：結果證明非純文字資料，如程式碼，可擴增語言模型的知識範疇，以及語言理解的靈活度，這將促使未來更多混合訓練資料的研究與產出。
4. 促使開放資料集與模型分享疫情：作者在論文同時釋出規模龐大的400次訓練實驗模型與數據，推動開源與可重複性研究，有助於生態系中不同研究者共同突破資料受限瓶頸。
5. 應用前景多元化：在人口語言稀少、資源不均或特定領域資料有限的場景，如低資源語言處理、生醫領域專業文本分析等，可直接借鑒此研究所提供的策略，進一步促使多語種與多領域的AI技術普及。

總結而言，〈Scaling Data-Constrained Language Models〉以嚴謹的實驗方法和深入的理論分析，釐清了在資料有限條件下語言模型的訓練效率與擴展界限，並提出可行的實踐方案，為語言模型研究帶來關鍵轉折。這不僅是對現行大型語言模型公式的一大補充，也是對未來資源受限AI發展路徑的重要指引。

---

論文資訊
📄 Scaling Data-Constrained Language Models
👥 Muennighoff, Rush, Barak, Scao, Piktus et al.
🏆 NeurIPS 2023 · Outstanding Paper Runner-Up
🔗 arxiv.org/abs/2305.16264