Direct Preference Optimization: Your Language Model is Secretly a Reward Model

隨著大型語言模型（Large-scale Language Models, LLMs）如 GPT 系列的成功發展，這些模型在無監督學習過程中能掌握豐富的世界知識及部分推理能力，然而精準控制其生成內容的行為仍是一大挑戰。傳統上，要讓這些模型「聽取」人類偏好，多依賴人類回饋的強化學習（RLHF, Reinforcement Learning from Human Feedback），這種方式先透過標註收集人類對生成結果的相對偏好，訓練一個獎勵模型（Reward Model, RM），再以此模型作為獎勵信號透過強化學習微調語言模型，使其生成更貼合人類偏好。但 RLHF 不僅訓練過程耗時複雜，且常常因為獎勵模型誤差或強化學習的不穩定性而導致微調效果不佳或訓練不穩定。

針對上述問題，Rafailov 等人於 NeurIPS 2023 發表的論文《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》提出了一種革命性的訓練方法——直接偏好優化（DPO, Direct Preference Optimization），極大簡化了過去 RLHF 的訓練架構與計算需求，且提升了訓練穩定性與效率。

研究背景與動機

LLMs 一般透過海量文本無監督預訓練，雖然擁有強大的生成與理解能力，但無法確保它們在各種應用場景中「自動」生成符合人類價值觀或期望的結果。過去主要藉由 RLHF 來達成這個目標：先訓練一個獎勵模型以擬合人類偏好，接著用強化學習對語言模型進行微調。

然而，RLHF 有幾個瓶頸：首先，獎勵模型與策略優化的分離導致訓練過程繁瑣，且獎勵模型不完美會造成策略偏差。其次，強化學習在高維度連續空間的訓練往往不穩定，且需要複雜的探索與超參數調整。此外，RLHF 通常在微調階段需增加大量取樣與計算成本，使迭代速度放慢。

因此，作者針對「是否有可能直接利用人類偏好資料，進行一個端對端且穩定的微調方法」展開研究。更進一步發現，如果以特定方式重新參數化獎勵模型，語言模型本身即可隱含為一個近似的獎勵模型，進而可以直接推導出最優策略，將複雜的 RLHF 問題轉化為簡單的分類問題。

核心方法與技術創新

本文提出的Direct Preference Optimization (DPO)，最關鍵的技術創新在於對獎勵模型的參數化與策略求解方式的改良。傳統 RLHF 方法是先獨立訓練一個獎勵模型 r_\theta，然後以此作為獎勵訊號用強化學習優化策略 \pi_\phi。相較之下，DPO 利用以下思想：

• 將語言模型本身的對數機率 \log \pi_\phi(y|x)（輸出序列 y 在條件輸入 x 下的機率）與基線模型 log π_0(y|x) 做比較，定義出「偏好」函数。
• 利用人類偏好資料集〈輸入 x, 對比生成 y^+ 和 y^-〉，DPO 透過一個分類損失函數強化模型調整，鼓勵模型對「更優生成」有較高的機率比 (log probability ratio)。
• 關鍵：DPO 理論證明下，最大化此分類損失等價於在閉式解下獲取最優策略，取消強化學習中繁複的多輪采樣和策略梯度。

總結來說，DPO 不再需要訓練一個獨立的獎勵模型，也不需進行強化學習微調，只須以簡單的有監督分類類似損失來微調模型，完成從基線策略向符合人類偏好的策略的轉變。這種方法：

• 保持訓練穩定且低方差。
• 減少超參數調整需求與訓練時間。
• 無需大量采樣，因為不再依賴策略梯度與獎勵估計。

主要實驗結果

作者在多個標準基準任務上比較了 DPO 與先前基於 RLHF 方法（特別是 PPO 版本的 RLHF）的表現，涵蓋情緒控制、文本摘要與單輪對話等多種生成任務。

• 情緒控制任務：DPO 能穩定有效改善生成文本的情緒傾向，且優於 PPO-based RLHF，展現出更高的偏好匹配率。
• 文本摘要任務：DPO 微調後的語言模型在語義一致性與摘要品質上與或超越 RLHF，表現更穩定。
• 單輪對話任務：生成回應質量提升，モデル更符合人類評價標準。

此外，實驗也展示 DPO 在訓練時的效率與穩定性都優於 RLHF，能在更少的時間與較低的硬體成本下取得相同或更好的優化效果，降低了大規模微調的門檻。

對 AI 領域的深遠影響

DPO 的提出代表了大規模語言模型微調領域的一大跳躍，尤其是在人類偏好對齊（Alignment）問題上。它帶來的主要革新與影響可分為以下幾點：

1. 簡化人類偏好微調流程：將過去複雜的 RL 框架轉化為一個簡單的分類優化任務，大幅降低開發和訓練成本，加速模型在實際應用中的快速迭代。
2. 提升模型與人類價值對齊能力：DPO 不僅提高了生成內容在情緒和質量上的控制能力，還提升了微調過程的可控性，推動更穩定的 AI 行為調整。
3. 理論與實踐結合的新典範：通過將獎勵模型參數化融入策略內核，論文不僅提出新算法，同時提供了嚴謹的數學證明，展現了深度學習與強化學習間交叉創新的可能。
4. 促進更安全與可控的 AI 系統建構：在 AI 逐漸滲透日常生活與敏感應用的當下，快速且穩定的偏好對齊技術對於減少模型不當或偏頗生成尤為重要，DPO 的技術路線可能成為未來標準。

綜合而言，《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》這篇論文不僅提供了性能卓越且訓練流程簡潔的偏好對齊新方法，也為後續基於人類反饋的模型微調研究指明了方向。隨著大語言模型規模越來越大，DPO 這種更高效、穩定、理論嚴謹的方法，將成為推動 AI 生成模型安全、合乎價值期望的重要基石。

---

論文資訊
📄 Direct Preference Optimization: Your Language Model is Secretly a Reward Model
👥 Rafailov, Sharma, Mitchell, Ermon, Manning, Finn
🏆 NeurIPS 2023 · Outstanding Paper Runner-Up
🔗 arxiv.org/abs/2305.18290