Direct Preference Optimization: Your Language Model is Secretly a Reward Model 深度解析

近年來，隨著大規模無監督語言模型（Language Models, LMs）如 GPT、PaLM 等在語言理解與生成上的突破，如何精確且有效地控制模型行為成為業界與學術界的關鍵挑戰。語言模型雖然能從海量文本中學習到廣泛的世界知識及部分推理技能，但在實際部署時，如何使得模型生成符合人類偏好，避免不當回應或失控行為，則需額外的“對齊”技術。這正是 NeurIPS 2023 出色論文《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》（Rafailov等人）所聚焦的議題。

研究背景與動機

傳統的大規模語言模型訓練過程主要是無監督的自回歸預測（predict next token），這種方式缺乏明確的行為指導，因此生成內容雖豐富但往往無法保證質量或符合特定目標。為了讓模型能更好地反映用戶所需的偏好，最主流的方法是基於人類反饋強化學習（Reinforcement Learning from Human Feedback, RLHF）。

RLHF 的核心流程通常包含兩個階段：首先，蒐集人類標註的生成結果偏好資料，訓練一個獎勵模型（reward model）去模擬人類偏好；接著，利用這個獎勵模型對大型語言模型進行強化學習微調，讓模型產生符合人類偏好的回答。

然而，RLHF 在實務上面臨諸多挑戰：獎勵模型與策略微調往往是兩套模型，學習過程複雜且不穩定，需要大量計算資源及精細的超參數調校。此外，策略在強化學習過程中可能會因為探索與獎勵估計誤差導致策略崩潰或漂移，這大大增加了技術門檻。

於此背景下，作者團隊提出了一個極具創新的觀點：其實大型語言模型本身就“秘而不宣”地隱含了獎勵模型，即我們可以將偏好學習問題直接轉化為語言模型的參數優化，不需傳統RLHF的多階段架構。

核心方法與創新

本論文的核心貢獻是提出「直接偏好優化（Direct Preference Optimization, DPO）」演算法。DPO 的關鍵在於重新參數化獎勵模型，並證明在這種參數化下，偏好最大化的最優策略可用封閉形式精確求出。換言之，偏好學習問題不必透過昂貴且不穩的強化學習過程，而是能透過一個簡單的分類損失函數直接對語言模型參數進行微調。

具體來說，DPO 不再顯式分離「獎勵模型」與「策略模型」兩個部分，而是將獎勵模型嵌入語言模型的對數機率中，並使用人類偏好數據來直接優化語言模型，使其更傾向於給出被標記為更好的一方答案。這樣的重構令訓練過程變得更加穩定且計算資源需求大幅降低，無需對生成語言進行複雜的抽樣，也不需要強化學習的策略探索。

方法優勢包括：

• 簡單高效：只需最基本的分類損失，避免了強化學習中常見的策略不穩定問題。
• 無需超大規模超參數調整：大幅降低工程複雜度，提高復現性和可部署性。
• 直接利用現有偏好數據：可無縫銜接 RLHF 既有的偏好標註資源。

主要實驗結果

作者團隊在多個典型的語言任務中對 DPO 進行嚴謹實驗，涵蓋：

• 情緒控制任務：在生成文本需要表達特定情緒（如正面或負面）時，DPO 微調後的模型能更精準地控制輸出情緒色彩，表現超越了基於 Proximal Policy Optimization（PPO）的 RLHF。
• 摘要生成：DPO 微調的模型在保持摘要資訊完整性的同時，呈現更符合人類偏好的回答品質。
• 單輪對話：微調後的模型能給出更貼近人類價值觀和偏好的回應，且在整體表現上與或優於 RLHF 方法。

此外，DPO 演算法在計算效率上展現出明顯優勢，訓練過程所需的資源與時間大幅縮減，適合工程實務應用。在數據利用率、模型穩定性及最終產出質量均達成令人印象深刻的表現，驗證了其理論設計的價值與可行性。

對 AI 領域的深遠影響

這篇論文提供了對強化學習與語言模型調優方法的一個全新視角，深刻影響了強化學習從人類反饋調整語言模型的未來方向。其貢獻主要體現在：

1. 理論創新：作者提出的「語言模型即獎勵模型」的新思維，打破了既有的獎勵模型與策略分離設計，為偏好學習提供了更具數學嚴謹性且簡潔的解決方案。
2. 實務簡化：將需要大規模超參數調校與複雜強化學習步驟的 RLHF 流程簡化為一個可透過標準分類損失優化的問題，大大降低了微調大型語言模型的門檻，加速了技術商業化推廣與普及。
3. 提升模型安全與可靠性：透過更穩定且精確的偏好對齊機制，減少模型失控或脫軌行為，促使符合人類倫理與價值觀的 AI 生成技術更為成熟。
4. 激發後續研究：此新技術帶來更多對於如何利用現有語言模型內部結構來解決強化學習任務的研究契機，未來有望促進跨領域方法融合，衍生更強大的偏好調整和模型精修技術。

總結而言，Rafailov等人提出的 DPO 方法，不僅在技術層面解決了 RLHF 低效、複雜、難以穩定訓練的痛點，亦為自然語言處理與強化學習結合的長遠發展樹立了新的典範。這篇 NeurIPS 2023 優秀論文的發表，無疑推動了語言模型對齊技術向更安全、高效及可控的方向邁進，對研究者與工程師在實際應用大型語言模型中具備重要啟發與指導意義。

---

論文資訊
📄 Direct Preference Optimization: Your Language Model is Secretly a Reward Model
👥 Rafailov, Sharma, Mitchell, Ermon, Manning, Finn
🏆 NeurIPS 2023 · Outstanding Paper Runner-Up
🔗 arxiv.org/abs/2305.18290