Direct Preference Optimization: Your Language Model is Secretly a Reward Model

在自然語言處理（NLP）及強化學習領域中，隨著大型語言模型（Large Language Models, LLMs）的蓬勃發展，如何讓這些模型更好地理解並反映人類偏好，成為近年研究的熱門方向。一般而言，透過“人類反饋”（Human Feedback）來優化模型生成結果品質，已成為增強語言模型實用性與安全性的關鍵技術，像是知名的「強化學習與人類反饋」（Reinforcement Learning with Human Feedback, RLHF）。然而，RLHF 雖然效果良好，但技術流程多階段，計算成本與參數調校困難，限制了其在實務上的廣泛應用。針對上述問題，來自 Stanford 與其他機構的 Rafailov 等人在 2023 年 NeurIPS 發表的論文《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》提出了一種新穎且高效的學習框架——Direct Preference Optimization（DPO），並因此獲得了本屆 NeurIPS 優秀論文亞軍（Outstanding Paper Runner-Up）。本文將針對此論文進行深入剖析，挖掘其研究背景、方法創新、實驗成果與對 AI 領域的深遠影響。

研究背景與動機

傳統的語言模型訓練流程依賴最大似然估計（Maximum Likelihood Estimation, MLE），透過大規模語料預測下一個詞，有效捕捉語言統計特徵；但 MLE 模型未必生成符合人類審美或倫理標準的文本。為了讓模型更符合人類價值與喜好，具備「共情」能力，近年研究透過人類反饋強化模型學習，例如 OpenAI 的 ChatGPT 便採用 RLHF 加強自然語言生成品質。RLHF 一般包含三階段：先使用人類標註資料訓練“獎勵模型（Reward Model）”，再利用此獎勵模型指導語言模型透過強化學習策略優化輸出。然而，該流程存在多個痛點：

• 訓練複雜性高：需要先建立獨立的獎勵模型，且強化學習本身通常不穩定、需仔細調參。
• 計算資源需求大：多階段訓練與反覆策略調整成本極高。
• 理論連結不足：獎勵模型與語言模型間的本質關係未被充分揭示。

因此，該論文嘗試提出一個端對端且直觀的框架，直接從「人類偏好數據」訓練語言模型，使其本身隱含為獎勵模型，簡化流程並提升穩定性。

核心方法與技術創新

Direct Preference Optimization（DPO）核心想法是透過優化語言模型產生的概率分布，使其直接符合人類偏好數據，而不需分別訓練獨立的獎勵模型。其技術核心建構在「Logistic 回歸」框架下，將偏好數據形式化為排列組合中的概率關係，目標為最大化「較受青睞文本被模型選中的機率」。

具體而言，假設有一組人類標註的偏好對 (x, y+, y−)，表示在上下文 x 下，人類偏好 y+ 優於 y−。DPO 利用語言模型概率 p_θ(·|x) 與基線模型 p_0(·|x) 同時參與計算，建立條件概率：

P(y+ ≻ y− | x) = σ(log p_θ(y+|x) - log p_θ(y−|x) - (log p_0(y+|x) - log p_0(y−|x)))

其中 σ 是 logistic 函數，p_0 是不經偏好數據微調的基線語言模型。透過最大化此概率，DPO 直接調整 p_θ，使其生成更符合「人類偏好」的文本，同時維持與基線模型的相對距離，以防止過度偏移。

這種設計帶來多項創新優點：

• 無需獎勵模型學習：同時利用基線模型作為參考，無須獨立訓練獎勵模型，流程更加簡潔。
• 端對端優化：直接優化語言模型參數，使其融合偏好信息，提升標準化與穩定性。
• 數學基礎嚴謹：DPO 方法推導自偏好概率最大化，理論上能保證獲得概率一致性的模型。
• 訓練高效：相較 RLHF，DPO 無需複雜的強化學習策略與梯度估計，運算效率更佳。

主要實驗結果

論文中，作者在多個公開偏好數據集（包含 OpenAI 公佈的「Anthropic HH」與 「OpenAI P3」資料）進行嚴謹實驗，評估 DPO 與 RLHF、PPO 等強化學習基準方法的比較。

• 偏好匹配度提升：DPO 模型在多種人類標註的偏好測試中顯示出顯著更高的匹配度（win rate），超越傳統 RLHF 訓練的模型。
• 訓練穩定與簡化：訓練過程中，DPO 搭配單純的最大似然微調即可有效收斂，避免 RLHF 常見的不穩定及策略崩潰問題。
• 生成品質無損失：經評估生成文本的語言流暢性及一致性，DPO 模型保持與基線相當水準，證明直接優化偏好不損害語言理解能力。
• 計算資源高效：DPO 節省了訓練獎勵模型和強化學習策略的額外計算資源，降低實務部署門檻。

此外，作者還進行了理論分析及消融實驗，驗證若移除基線模型校正項，模型易過度擬合偏好數據，強化了該項設計的重要性。

對 AI 領域的深遠影響

DPO 的提出從多個層面推動了語言模型偏好優化技術的進步：

1. 推翻先前理解：長期以來，強化學習與獎勵模型被視為改善生成式模型品質的必需步驟。此論文精確揭示，其實語言模型本身就能作為獎勵模型存在，改變研究者對語言模型與獎勵模型關係的認知結構。
2. 簡化偏好訓練流程：端對端調整語言模型以符合人類偏好，勢必降低研發成本與技術門檻，加速更安全、可靠的對話系統、生成系統問世，加速 AI 產品落地。
3. 促進新一代 AI 安全標準：協助確保模型在生成內容時，能更自動地反映社會期望與倫理標準，減少有害輸出，是面向可解釋且負責任 AI 的重要里程碑。
4. 擴展跨領域應用潛力：由於不依賴特定強化學習環境，DPO 框架可推廣至更多需要偏好優化的場合，如醫療決策輔助、教育輔導、法務輔助等。

總結來說，Rafailov 等人所提出的 Direct Preference Optimization，不僅是在技術層面提供了一個簡潔而有效的替代方案，也在理念上促使整個 AI 社群重新思考語言模型與獎勵機制的關係。未來隨著更大規模數據與模型加入，DPO 有望成為優化人機互動品質、推動負責任 AI 的重要工具。

對於研究生和工程師而言，DPO 的原理和實現提供了非常寶貴的參考範例：透過嚴密數學語言搭建直觀目標函數、利用語言模型自身結構進行偏好微調，達成雙贏效果。理解並掌握此框架，將有助於開發更智慧、更具人性化的 AI 系統。

---

論文資訊
📄 Direct Preference Optimization: Your Language Model is Secretly a Reward Model
👥 Rafailov, Sharma, Mitchell, Ermon, Manning, Finn
🏆 NeurIPS 2023 · Outstanding Paper Runner-Up
🔗 arxiv.org/abs/2305.18290