Direct Preference Optimization: Your Language Model is Secretly a Reward Model 深度解析

近年來，大型無監督語言模型（Large-scale Unsupervised Language Models，LMs）因其卓越的語言理解與生成能力，成為自然語言處理領域的核心技術。然而，這些模型在純無監督的訓練流程下，雖然吸收了廣泛的世界知識和推理技能，卻難以實現對生成結果的精確控制與定向調整。這種缺乏可控性的挑戰，不僅限制了模型在實際應用中對用戶偏好的滿足，也使其在關鍵任務上的可靠性受到質疑。因此，如何有效且穩定地將人類反饋融入語言模型的訓練中，成為近年研究的熱點議題。

研究背景與動機

為提升語言模型生成內容與人類偏好的一致性，目前主流方法通常採用強化學習從人類反饋（Reinforcement Learning from Human Feedback，RLHF）。RLHF首先以人類相對偏好的標註資料訓練一個獎勵模型（Reward Model，RM），用以預測生成文本的品質或偏好分數。接著，再透過強化學習對原始無監督LM進行微調，使生成策略在不背離預訓練模型行為的前提下，最大化預測的獎勵。

然而，RLHF存在多項挑戰。首先，此流程較為複雜且需耗費大量計算資源，包含訓練獎勵模型及對大型語言模型進行高成本的強化學習優化。其次，強化學習訓練過程往往不穩定，易受超參數調整影響且需要精細的調校。此外，標準RLHF還需從語言模型生成樣本，這進一步提高了實驗的難度與成本。

基於此背景，Rafailov等人於2023年NeurIPS重要論文《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》中提出了一種具革命性的訓練新架構，試圖以更簡潔、穩定且高效的方式達成語言模型與人類偏好的對齊。

核心方法與創新

論文提出的方法稱為Direct Preference Optimization（DPO），其最大亮點在於重新參數化「獎勵模型」，使其本質等同於語言模型中隱含的政策函數（policy），從而能夠直接導出最優策略的封閉解，避免了傳統RLHF中需要透過強化學習去近似優化策略的繁複過程。

方法核心：

• 作者觀察到，對語言模型施加獎勵的過程，可以透過某種數學映射，使得獎勵模型的對數概率比值與語言模型的行為策略直接相關。具體而言，他們令獎勵模型之差值形式（獎勵分數差）與已預訓練語言模型輸出概率的對數比對應起來，這樣可在不進行強化學習更新的情況下，通過簡單的對比學習分類損失（classification loss）優化模型參數。
• 這樣，DPO不需要額外的采樣過程（sampling），且避免了強化學習中經常遇到的不穩定性問題，訓練過程更為直接且高效。
• DPO將模型參數微調構建為標準的監督學習問題，利用人類偏好的成對標註來優化模型，使之直接產生更貼近人類期待的輸出。

整體而言，DPO實現了將「語言模型本身就隱藏著獎勵模型」的理念，最大程度地整合了獎勵建模與策略優化兩階段，打造出一個簡化且理論嚴謹的訓練框架。

主要實驗結果

為驗證DPO的有效性，作者在多個任務上進行了詳細實驗比較：

• 情感控制任務：DPO成功將生成文本的情感傾向（如正向、負向）調整得比基於PPO的RLHF方法更為精確，證明其在細粒度偏好掌控上的優勢。
• 摘要與單輪對話任務：在文本摘要與單輪問答場景中，DPO不僅匹配了PPO-RLHF的性能，甚至在回應質量方面有所提升。此外，DPO的訓練過程流暢且超參數調整簡單，顯著降低實驗落地難度。
• 開銷與穩定性：DPO無需複雜的強化學習訓練迴圈，減少計算時間與資源消耗，且訓練過程穩定，減少模型退化或崩潰風險。

這些實驗結果充分展示出DPO在多面向應用下的廣泛適用性與優勢，證明其為實現人類語言偏好對齊的有效新途徑。

對 AI 領域的深遠影響

DPO的提出不僅是一個技術層面的突破，更可能深刻影響未來大型語言模型驅動的應用與研究方向：

• 簡化偏好學習流程：傳統RLHF方法雖然強大，但因其複雜度與訓練不穩定性，一定程度阻礙了其在產業與學術的廣泛使用。DPO提供了一種簡潔且高效的替代方案，使得語言模型的偏好微調能夠更快速地被實踐與普及。
• 理論與實踐的深度結合：DPO從理論上揭示了語言模型內部與獎勵結構的緊密聯繫，反思現有架構並創造性地以封閉形式解決策略優化問題，為後續在強化學習與生成模型間的理論研究開拓新思路。
• 提升生成模型可控性與安全性：語言模型的生成行為若能被精確調整，不僅能滿足多樣化的應用需求，也有助於降低有害資訊生成的風險，推動模型在實際場景下更加安全可靠。
• 促進人機交互新型態發展：DPO使模型更容易理解並符合用戶偏好，為個性化助手、智能問答等人機交互系統的改進提供理論與技術支撐。

總結而言，Rafailov等人透過DPO提出了一項可顛覆傳統RLHF訓練流程的創新方法，其在效率、穩定性與控制力上的提升，預示了未來語言模型微調技術的新方向，為實現更加智慧且能與人類意圖緊密對接的AI系統奠定了堅實基礎。

未來研究可繼續探索DPO在多輪對話、多任務學習甚至跨模態生成等更複雜場景中的應用，並結合更精細的人類偏好數據，推動大型語言模型向著更加人性化與智能化的目標前行。

---

論文資訊
📄 Direct Preference Optimization: Your Language Model is Secretly a Reward Model
👥 Rafailov, Sharma, Mitchell, Ermon, Manning, Finn
🏆 NeurIPS 2023 · Outstanding Paper Runner-Up
🔗 arxiv.org/abs/2305.18290