Data Shapley in One Training Run 深度解析：高效且精準的資料貢獻評估新典範

在現代機器學習中，資料的重要性不言而喻。如何量化個別資料點對模型表現的實際貢獻，是理解模型決策、優化資料清理、推動資料版權保護等多個重要議題的核心。然而，現有的資料價值評估方法，尤其是基於Shapley值的資料貢獻分析，因為需對資料子集反覆重新訓練模型，計算成本極高，且無法針對單一模型的資料點貢獻進行精準估計，嚴重限制它們在大型深度學習模型上的應用。

研究背景與動機

Shapley值源自合作博弈論，是一種理論上公正分配貢獻的方法，在機器學習中被引入來評估不同訓練資料如何影響模型整體表現。過去的研究多透過多次展示不同的資料子集並訓練對應子模型，來估計每個資料點對模型效能的邊際貢獻。然而，

• 對大型預訓練模型（例如基礎模型）來說，這種重訓策略的計算成本非常龐大，甚至明顯不可行。
• 且傳統方法的評估是針對整個學習算法的一致性產物，而非針對單次訓練中所得到的「唯一」模型，造成資料貢獻分數的泛化性，失去針對性與實用性。

隨著基礎模型（Foundation Models）與生成式 AI 的興起，對於訓練資料的透明度、資料版權責任及資料品質把控更是備受關注，迫切需要一種高效且能針對單一模型工作的資料歸因方法。此即本論文 “Data Shapley in One Training Run” 的研究動機所在。

核心方法與創新

本論文最大創新在於提出In-Run Data Shapley，一種可以在「單次模型訓練流程」中即時計算資料貢獻的演算法。其核心架構包含以下幾項關鍵技術：

1. 優化的資料貢獻估計流程：傳統Data Shapley需要透過大量重新訓練，模擬多種資料子集合。作者提出利用模型訓練過程中中間狀態的資訊，估計各資料點對模型權重更新的貢獻，達到即時追蹤資料價值。
2. 巧妙整合影響函數（Influence Functions）與軌跡分析：透過理論推導和實際運算，In-Run Data Shapley 不單純計算模型最終表現變化，而是追蹤每一訓練步驟中資料對參數梯度影響的累積效應。
3. 極低額外計算負擔：作者在設計上避免重複前向或反向傳播，利用自動微分框架與資料樣本批次化策略，使得整個過程的額外計算成本相較標準訓練流程只有微乎其微的增加。
4. 具體對應單次訓練結果模型：不再給出泛化於算法本身的貢獻評估，而是精準鑑定該特定訓練實例所學到模型中，每筆資料的實際貢獻分數。

整套方法的設計，不僅解決了大模型訓練成本導致的技術瓶頸，更順應深度學習實務趨勢，成為首個可實際應用於基礎模型預訓練階段的資料貢獻評估工具。

主要實驗結果

論文中作者針對多個典型資料集及大型深度學習模型，進行了全面的實驗驗證，其中重點成果包括：

• 效率方面：與傳統Shapley方法相比，In-Run Data Shapley 的運算時間減少了數十倍至上百倍，使得原本無法承擔的大規模基礎模型訓練歸因分析成為可能。
• 貢獻評估質量：通過實驗與傳統重訓估計的相關性分析，In-Run 方法在準確性上具有高度一致性，能有效辨識出高影響力及低影響力的訓練資料點。
• 應用實例：他們展示了如何利用該方法檢測預訓練資料中的不良或重複樣本，以及資料隱私相關風險，並提供求證圖像生成模型中個別樣本對生成質量的影響。
• 資料版權與版權保護意涵討論：作者嘗試將資料貢獻值用於版權認定，探索如何定量界定哪些資料對生成式 AI 模型具有關鍵貢獻，有助於法律及政策層面未來規範。

對 AI 領域的深遠影響

本研究突破了資料歸因領域歷史性的運算瓶頸，帶來以下重要影響：

1. 促進透明且可解釋的資料使用：藉由精確計算資料點對特定模型的貢獻，使用者及研究者能更清楚地理解訓練資料的價值與作用，提升模型訓練流程的透明度與信任度。
2. 推動資料裁剪與優化策略：有了即時且精細的資料貢獻評估，開發者能針對性剔除無用或有害資料，減少訓練時間與成本，同時提高模型效能及穩健性。
3. 啟發基礎模型預訓練階段監控機制：過去無法對預訓練大型模型的資料貢獻進行詳細觀察，此方法為資料品質控制與來源追蹤奠定了實務可行的基石。
4. 加速資料版權法律與倫理規範形成：在生成式 AI 崛起之際，準確的資料貢獻量化有助於界定資料擁有權，保障原始資料提供者權益，同時促進合理授權與風險控管。

總結來說，Wang 等人在 ICLR 2025 推出的 Data Shapley in One Training Run 打造出一個融合理論創新與工程實踐的資料影響力評估框架，突破了過去因計算複雜度而無法拓展的限制。這不只是一項技術創新，更可望成為未來 AI 訓練流程的標準工具，推動更負責任、更高效的人工智慧發展。

---

論文資訊
📄 Data Shapley in One Training Run
👥 Wang, Mittal, Song, Jia
🏆 ICLR 2025 · Outstanding Paper Honorable Mention
🔗 arxiv.org/abs/2406.11011