Learning Dynamics of LLM Finetuning — 解析大型語言模型微調的學習動態

隨著大型語言模型（Large Language Models, LLM）在自然語言處理領域的蓬勃發展，微調（Finetuning）策略成為讓模型適應特定應用場景、提升效能與對齊度的關鍵步驟。然而，微調過程中模型學到的具體機制與各類調校策略影響模型行為的內在「動態」，長期以來仍缺乏系統且深刻的理解。針對此一地帶，Ren 與 Sutherland 在 ICLR 2025 發表的《Learning Dynamics of LLM Finetuning》一文獲得 Outstanding Paper 獎項，透過提出一套創新的學習動態分析框架，開創性地揭示大型語言模型微調期間模型行為變化的步驟分解過程，進而解答多個長期困惑學界與工業界的現象。

研究背景與動機

傳統上，微調大型語言模型多採用指令微調（Instruction Tuning）、偏好微調（Preference Tuning）等技術，以強化模型在特定任務上的表現或讓回應更符合人類偏好。這些過程大幅提升了如 ChatGPT、GPT-4 等生成模型的對話品質與用途多元性。然而，現有研究多聚焦於微調後模型的靜態效能指標，缺乏對「微調過程中模型如何逐步學習」的詳細解析。

學習動態（learning dynamics）概念，強調模型在每個訓練步驟中，特定訓練樣本如何影響模型對其他樣本預測的變化，藉此能從更細緻的視角洞察模型訓練過程中的知識傳遞與調整機制。本文動機為填補 LLM 微調在學習動態層面的理解空缺，解析微調過程中的知識「影響積累」機制，從中獲得對微調策略優缺點的更具體理解，也預期藉此開發更有效的對齊方法。

核心方法與理論創新

本論文核心貢獻在於建立一套通用且細膩的「學習動態分析框架」，此框架可分解在微調過程中，模型的參數更新如何逐步形塑其在多個潛在回應上的行為改變。具體來說，作者從影響函數（influence functions）概念出發，解析單筆訓練資料對模型各種可能回答（responses）的影響，並精確追蹤影響力的累積與散佈狀態，構建出一張多維交互影響網絡。

透過此框架，不僅能統一解釋指令微調與偏好微調中觀察到的多項現象，還提出許多新穎見解。例如，作者針對微調後模型出現「幻覺」（hallucination）現象提出假說：模型在回答某問題時，可能「借用」另一個問題的片語或事實作為回答材料，亦可能因微調強化了部分簡單重複詞組，使得回應風格趨向重複且失去多樣性，這種現象以前多是直觀感受，難以量化與理論支持。

更進一步地，作者透過框架探討以直接偏好優化（Direct Preference Optimization, DPO）為代表的策略演化，揭示一項獨特的「擠壓效應」（squeezing effect）：在離策略（off-policy）的 DPO 優化中，若優化步驟過多，連理想輸出也會變得不容易產生，這反映了模型輸出概率分布的縮窄與過度集中，進一步點明了為何在實務中需要適度控制優化強度。此發現促使作者對採用在策略微調（on-policy）和各種 DPO 演算法差異的原理結構有了更深入理解。

主要實驗結果與驗證

在實驗部分，作者以多種微調任務為測試平台，包括典型的指令微調與偏好微調，利用所提出的學習動態分析框架，細緻追蹤模型訓練過程中輸出行為的演變。實驗結果呈現了以下重要觀察：

• 微調過程中，不同訓練樣本對模型回答影響非均勻分布，部分關鍵樣本在影響路徑中扮演「橋樑」角色，左右回答樣式和內容的生成。
• 「幻覺」現象在微調階段的出現頻率與特定訓練樣本間的交叉影響高度相關，且該現象可被影響力網絡的結構變化量化。
• DPO 優化中，文獻上既有的「過度優化導致性能退化」現象，透過「擠壓效應」得到理論說明，且實際實驗中隨著訓練步數增加，生成多樣性逐步減少，符合框架預測。
• 在此框架指導下，作者提出改良的微調調度策略（包括訓練樣本選擇與步長控制），在多個指標上超越傳統方案，有效提高模型輸出質量及對齊度。

對 AI 領域的深遠影響與未來展望

《Learning Dynamics of LLM Finetuning》為了解大型語言模型微調過程內涵提供了首次系統性且具解釋力的學習動態分析工具，不僅豐富了理論層面的認知，也帶來多項實用價值。透過揭示隱藏在微調背後的知識影響路徑與演化機理，該研究推動了以下幾方面的深遠影響：

1. 微調策略精細化設計：不同於以往僅憑經驗調整超參數與訓練數據，研究提供了理論依據來優化訓練過程，最大化微調效果同時減少副作用，如幻覺生成、過度收斂等問題。
2. 模型行為可解釋性提升：理解特定回答為何形成、哪些樣本影響最大，為後續模型調試、錯誤分析及安全性增強提供理論基礎，是促進產業端應用可信度的一大助力。
3. 開啟新型微調視角與算法創新：「擠壓效應」等發現點明在偏好學習與策略調整中需避免的陷阱，促使研究者思考更穩健的優化框架，推動包含 on-policy DPO 等微調方法的進步。
4. 跨領域方法論鏈接：將影響函數等統計學工具引入大規模深度學習微調分析，促成 AI 理論與實務的多維度交互，未來可能拓展至其他多模態或結構化數據的學習行為解讀。

總結來說，Ren 與 Sutherland 的這篇論文不僅深刻揭露了 LLM 微調中複雜且微妙的學習動態，還透過理論與實證雙軌推動了模型微調效能與安全性提升的技術演進。對於從事大型模型訓練與應用的工程師與研究者而言，掌握此框架及其洞察，將有助於更精確地控制微調過程中的行為變化，從而打造更為強健且符合人類價值觀的智慧系統。未來，期待該框架延伸應用於多任務、多模態與大型模型更綜合的訓練調整中，進一步推動 AI 向著更安全、可控與高效的方向發展。

---

論文資訊
📄 Learning Dynamics of LLM Finetuning
👥 Ren, Sutherland
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2407.10490