Scaling Data-Constrained Language Models

在近年來的大型語言模型（Large Language Models, LLMs）發展中，隨著模型參數數量與訓練資料規模不斷地擴大，研究者們普遍認為「規模即效能」（scale is all you need）的觀念成為提升模型性能的關鍵指標。一般做法為同時增加參數量和語料庫大小，以達成更好的泛化能力與語言理解表現。不過，隨著資料的使用越趨普及，網路上可取得的高品質自然語言文本資料逐漸成為限制模型訓練擴展的瓶頸，簡言之，資料量的「天花板」即將到來。

本文《Scaling Data-Constrained Language Models》（Muennighoff等，NeurIPS 2023傑出論文第二名）針對「資料受限」的場景展開深入探究，以明確回答在資料未能無限擴充的前提下，我們該如何有效配置有限的訓練資源（包括資料和計算力），並探索在資料極度匱乏時，模型架構與訓練策略的最佳化方針。

研究背景與動機

傳統的語言模型擴展策略多沿用增加模型參數與足量全新數據的雙重曲線成長，例如GPT系列模型中每一代均大幅擴大語料庫與模型容量。然而，資料量非永遠無限，尤其高品質、適合訓練語言模型的清洗後文本更是有限，且取得和處理成本高昂。隨著規模逼近極限，模型變得越來越「資料飢渴」卻無法從新的語料中獲益，因此研究「資料重複利用」與「資料受限下的訓練策略」變得十分重要。

此外，儘管現有「推動規模法則」（scaling laws）精準預測模型訓練過程中的耗費與損失降低，但這些法則多半不考慮資料重複利用的影響或極端資料匱乏的情形。這也造成了學術界與工業界對於使用有限資料進行大型模型訓練時的效益評估缺乏指標和實驗數據支持。本研究旨在填補這一空白，提供系統性的理論與實證結果。

核心方法與創新

本論文採取大規模、多變量的實驗設計，核心在於操控三個維度：訓練資料量（包含資料是否重複）、計算預算（以「訓練代幣數」衡量）、模型參數數量，涵蓋範圍達9000億訓練tokens與90億參數模型，試圖找到在各種組合下的效能表現。具體創新如下：

1. 資料重複效應評估：作者首次系統性地變化資料重複輪數（epoch，資料被重新遍歷的次數），從1次（無重複）到超過4次，分析模型損失隨資料重複和計算資源配置的變化趨勢。結果顯示，資料重複在4個epoch內基本無損失，但超出此範圍會使額外計算資源的投入邊際效益急劇下降。
2. 提出新型擴展法則：在過去的擴展法則基礎上，作者納入了資料重複帶來的「token效用衰減」和模型參數過剩影響，建立數學模型精確描述受限資料情境下的「計算最佳化配置」，為研究提供理論基礎與實務指引。
3. 資料稀缺下的對策實驗：為緩解資料短缺問題，研究團隊嘗試了引入程式碼資料（code data）、以及放寬常見的資料過濾規則，評估這類數據擴充策略對代替自然語言資料的可行性及效益，展現靈活調適資料標準可在有限數據下提升模型多元學習能力。
4. 公開豐富數據資源：本論文隨附400次訓練實驗詳細結果與所用模型及資料集，免費對外開放，強化學術界與產業界的復用性與後續研究推動。

主要實驗結果

實驗發現體現了幾個關鍵洞察：

• 在固定計算成本條件下，對有限資料使用最多4輪重複訓練，對模型性能損失影響甚微，代表可透過重複利用資料有效放大訓練效用，對資料稀缺情況提供實務解。
• 超過4輪的資料重複後，額外投入計算資源的邊際效益遞減趨近於零，意味著在資料瓶頸下無止盡的增加計算力並無意義，反而會產生過擬合及浪費。
• 實驗中建立的擴展法則可用公式量化重複資料效用衰減與模型規模間的複雜交互作用，提供了新一代模型擴展與資源分配的理論框架。
• 引入程式碼資料或減少資料過濾對模型表現均有不同程度的正面影響，顯示跨域資料融合與資料清理策略可在數據匱乏時提升訓練資料多元化，有助模型更好地概括語言結構與功能。

對 AI 領域的深遠影響

此論文在多個層面具備重要意義：

首先，在實務層面，隨著大型語言模型已廣泛應用於商業及學術研究，資料可用性日益成為影響訓練成本與效能的瓶頸。此研究清楚揭示在資料有限的環境中，如何合理利用既有資料並搭配計算資源，達成效能最大化，為業界節省昂貴的數據投資並提升訓練效率提供科學依據。

其次，在理論層面，本研究推翻以往擴展法則忽略資料重複效應的假設，提出了更貼近現實環境的模型訓練範式，促使後續研究能更精確預測及調控模型擴展過程。這對推動語言模型訓練的可持續發展與環境影響評估具深遠意義。

再者，作者公開了大規模實驗資料與模型，這類開源資料庫將加速全球研發團隊驗證新假設、試驗新方法，降低重複建構數據管道的時間成本，推動整體社群在資源受限條件下的創新突破。

最後，由於各種應用場景中資料數量與質量不一，例如醫療、法律或跨語言文本等領域，均面臨資料獲取的重大挑戰。此論文所提出的理論與方法，為這些受限領域訓練高效能語言模型提供了可行策略與量化指標，促進人工智慧技術更普適且民主化的落地。

總結

《Scaling Data-Constrained Language Models》以嚴謹的大規模實驗和創新性的擴展法則理論，系統性揭示了資料有限情況下大型語言模型訓練的機理與最佳實踐，挑戰了以往「越多資料越好」的直覺觀念，提出可行的資料重複策略與代替資料來源，有效引領AI模型訓練進入更理性與資源友善的新時代。此研究不只為學術界提供理論與數據支持，更為業界調整訓練策略與資本投入提供重要指引，對整體人工智慧生態系統的可持續發展具有廣泛且深遠的影響。

---

論文資訊
📄 Scaling Data-Constrained Language Models
👥 Muennighoff, Rush, Barak, Scao, Piktus et al.
🏆 NeurIPS 2023 · Outstanding Paper Runner-Up
🔗 arxiv.org/abs/2305.16264