Learning Dynamics of LLM Finetuning

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域的廣泛應用，如何有效且安全地對這些模型進行微調（finetuning）成為關鍵議題。傳統上，我們往往以最終模型的效能指標來評估微調效果，但對「微調過程中模型學習行為的動態變化」缺乏深入了解。ICLR 2025 年由 Ren 與 Sutherland 所提出的論文《Learning Dynamics of LLM Finetuning》即針對此問題，提出一套系統性框架，用以解析微調過程中模型對不同訓練樣本的學習影響如何逐步累積並相互作用，從而揭示微調本質與行為變化背後的機制。

研究背景與動機

大型語言模型微調技術的多元化與複雜化，使得模型行為經常出現難以預料的副作用。舉例而言，微調後模型可能會強化「幻覺」（hallucination）現象，例如回答問題時錯誤套用其它問題的資訊、重複簡單且無意義的短語等。這類問題嚴重影響模型的可靠性與實用性。雖然已有多種微調策略如指令微調（instruction tuning）、偏好微調（preference tuning）、及直接偏好優化（Direct Preference Optimization, DPO）應用於提升模型表現與 alignment（對齊），但這些技術的內部學習過程及相互影響卻鮮少被量化與解析。

因此，作者提出學習動態（learning dynamics）的概念，透過分析模型每一訓練步驟對不同回答選項累積影響的分解，建立一套統一觀點，系統性理解微調過程中的模型行為演變。更重要的是，這種理解不僅解釋了現象，還能指引改善策略，提升模型效能與安全性。

核心方法與創新

本論文的核心創新在於建立了一套「學習動態分析框架」，其設計理念為：

• 步驟分解的影響累積模型：將微調過程視為一系列更新步驟，分析每一步對模型不同潛在回答的影響如何累積起來，並計算這些影響之間的相互作用與轉換。這種逐步解析使得可以追蹤細微的行為模式變化。
• 統一解釋多種微調方法：此框架同時涵蓋指令微調和偏好微調的主要算法，統一解釋訓練過程中典型觀察到的行為差異與共通機制，避免以往分散且無統一理論支撐的片段式理解。
• 針對幻覺現象的假設性解釋：透過動態影響分解，作者提出模型在回答問題A時可能不自覺借用回答問題B中的用語或事實，其實是微調過程中跨樣本影響累積的結果。這解釋了幻覺現象的內生原因，為未來針對性干預提供線索。
• 揭示「擠壓效應」（squeezing effect）：此為論文中對於偏好微調中特殊行為的獨特洞察。作者發現，在 DPO 這類離策略（off-policy）優化方法中，若迭代過久，模型甚至會讓理想答案出現機率降低，這與影響累積過程中「擠壓」重要資訊的現象相關。此發現解釋了先前困惑的退化行為，並區分了離策略與在策略（on-policy）DPO的差異。

主要實驗結果

論文中作者透過精心設計的實驗組合驗証該框架的有效性，涵蓋：

• 指令與偏好微調行為追蹤：比較多種微調方法在訓練過程中模型對特定回答選項影響的累積路徑與強度。實驗結果顯示，指令微調與偏好微調在影響形態與響應多樣性上展現出顯著差異，其中偏好微調的擠壓效應尤為明顯。
• 幻覺現象定量分析：透過影響累積框架，作者不僅觀察到了幻覺產生的數據驅動證據，更能定量評估特定訓練樣本間的「錯誤傳遞」路徑，進一步確定哪些樣本間的相互影響導致回覆錯誤或重複。
• 擠壓效應現象複現：多次重複實驗證明 DPO 訓練過程中擠壓效應的普適性與穩定性，且透過調整訓練動態可減緩此現象，提高理想答案的概率，直接影響策略優化的實務調參指導。
• 簡單有效的對齊改進方法：基於理解微調動態，論文最後提出一種修改訓練方式的方法，能夠有效抑制幻覺現象與擠壓效應，提升微調後模型與人類意圖的對齊品質，實驗結果充分展示其實用價值。

對 AI 領域的深遠影響

本論文在大型語言模型微調研究中，開拓了全新視角——從長期動態累積的角度理解模型學習行為，填補了現有研究多集中於靜態結果分析的空缺。主要影響可歸納如下：

• 理論統整與實踐指南：學習動態框架不僅提供了涵蓋多種微調算法的統一理論基礎，更因其透明解析微調過程的機制而成為有效診斷與改善微調策略的工具，幫助研究者與實務工程師定位問題根源，進行針對性調整。
• 揭示與緩解幻覺問題：幻覺作為當前 LLM 面臨的最大挑戰之一，該論文首次深入揭示幻覺行為的內在成因，並提出可行抑制機制，推動了模型真實性與可靠性提升的研究節點。
• 提升偏好微調安全性與效果：針對偏好優化中的擠壓效應的發現與理論解釋，使得設計更穩健的偏好微調算法成為可能，促進了對人類偏好調整模型的理解與工程提升。
• 促成後續研究方向：本框架提供了豐富的分析工具與現象解釋，預期將推動包括多任務學習、跨域遷移學習、以及模型對齊技術在內的多個 AI 子領域探索，促進深層次理解和創新算法設計。

總結來說，《Learning Dynamics of LLM Finetuning》不僅在理論層面為理解大型語言模型微調提供了全新且系統的工具，同時在實驗與應用上給出了具體且有效的策略建議。這為未來大型模型安全可靠地部署與持續優化，奠定了重要基礎，是當代 AI 領域不可多得的突破性貢獻。

---

論文資訊
📄 Learning Dynamics of LLM Finetuning
👥 Ren, Sutherland
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2407.10490