Direct Preference Optimization: Your Language Model is Secretly a Reward Model 深度解讀

在近年來大型語言模型（Language Model, LM）迅速發展的浪潮中，儘管這些模型能從海量未標註數據中學習廣泛的世界知識及具備一定推理能力，但確切掌控模型行為仍是一大挑戰。這主要因為傳統的訓練過程是完全無監督的，模型學習的是大量文字的統計特徵，卻難以直接落實人類偏好的引導與調控。為解決此問題，目前主流策略為透過「人類回饋強化學習」（Reinforcement Learning from Human Feedback, RLHF）來調整語言模型，使輸出更貼近人類的價值判斷與期待。然而，RLHF 不僅流程複雜且計算資源消耗高，且訓練過程容易不穩定，限制了其在實務中的普及。

研究背景與動機

RLHF 的核心做法通常分兩階段：首先透過收集人類對模型生成文本的相對偏好標註，來訓練一個「獎勵模型」（Reward Model，RM），此模型旨在量化文本質量的一種分數；接著利用此獎勵模型作為目標函數，對原始大型語言模型進行強化學習微調，使生成結果能最大化此「獎勵」。雖然在 ChatGPT 等系統中取得巨大成功，但RLHF流程繁瑣，包含了獎勵模型訓練、策略優化、並防止模型生成分布劇烈偏離原始數據分布等多重調參課題。

因此，本論文提出了一種嶄新的方法，名為「Direct Preference Optimization（DPO）」，希望大幅簡化 RLHF 的訓練流程，改寫獎勵模型的參數化方式，透過數學推導直接從偏好標註中構建一個最佳策略的封閉解（closed form）表示，從而用一個簡單的分類損失函數來完成對語言模型的微調，降低訓練的複雜度及不穩定性。

核心方法與技術創新

DPO 的關鍵貢獻在於重新定義獎勵模型與策略之間的關係。傳統 RLHF 先建立一個獎勵函數，再採用強化學習最大化該獎勵，數學上是一個策略優化問題，需要如 PPO 等複雜的演算法支援，而這通常涉及大量蒙地卡羅採樣乃至高昂的超參數調整。

論文巧妙觀察到，若將語言模型本身視為一個隱含的獎勵模型（即模型自身隱含對不同輸出句子的偏好分布），並結合偏好的對比數據對標的改寫，可以直接求得最佳策略的封閉解形式。換言之，透過對人類偏好標註的對比數據——例如一句話 A 優於句子 B 的偏好標籤——，一個簡單的分類問題損失（如交叉熵）即可直接優化模型，使其行為自然對齊人類偏好，無需額外訓練獎勵模型與強化學習。

具體而言，DPO 根據偏好對 (A, B) 建立一個概率模型，將兩個候選生成的相對優劣映射為一個二元分類任務，且設計了一套特殊的損失函數，使優化後的模型輸出即為該偏好分布的最佳解。這種方法不僅在理論上具備良好收斂性和穩定性，實驗中也顯示訓練過程大幅簡化，降低了對超參數調整和高耗成本蒙采樣的依賴。

主要實驗結果

作者在多個語言任務中驗證了 DPO 的有效性，涵蓋情感控制、摘要生成和單輪對話等場景。相比傳統 RLHF 中主流的 PPO 演算法，DPO 在同等或更低的訓練成本下，成功將模型生成的內容更貼合人類偏好。

• 在情感控制任務中，DPO 明顯優於 PPO，模型更擅長控制生成文本的情緒色彩，且訓練更穩定。
• 在摘要生成和對話品質方面，DPO 不僅達到甚至優於當前最先進的 RLHF 基準，且降低了訓練的時間與資源需求。
• 整體而言，DPO 在優化效率和實務易用性方面都展現出巨大的優勢，尤其是在減少蒙地卡羅採樣步驟、消除複雜的強化學習調參過程。

對 AI 領域的深遠影響

DPO 的提出，重新定義了人類偏好引導語言模型的最佳實踐方式，為未來模型對齊（alignment）研究提供了一條更加簡潔且可擴展的技術路徑。以下為其對 AI 領域的重要啟示：

1. 簡化偏好微調流程：藉由擺脫強化學習架構，DPO 使得偏好微調更容易被非專家部署與使用，降低研究與工程門檻，促使更多組織能進行人類價值引導的語言模型微調。
2. 理論與實務的緊密結合：DPO 中對獎勵模型與策略的數學解析，讓人們對 RLHF 本質有更深入理解，有助於推動更多理論驅動的演算法改進與創新。
3. 促進更可靠安全的 LLM 發展：隨著更高效且穩定的偏好優化手段出現，未來大型語言模型能更好地遵從社會價值與用戶需求，居中避免「偏差漂移」與不可控行為，強化 AI 在實際應用端的安全性與可信度。
4. 擴展至其他生成模型的偏好學習：雖然此論文聚焦於語言模型，該理念亦可延伸至圖像、音頻等模態的生成模型偏好學習，推動跨領域偏好微調技術的一體化發展。

總結而言，Rafailov 等人在 NeurIPS 2023 發表的《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》帶來了一場革命性的變革。他們重新解構了 RLHF 流程，提出一種以簡單分類損失取代複雜強化學習優化的巧妙方法，不僅提升了模型對齊人類偏好的效率與穩定性，也大幅降低工程複雜度。這項工作不但在學術上獲得高度肯定（Outstanding Paper Runner-Up），更為產業界追求更安全、更人性化的 AI 技術鋪路，可望成為未來 LARGE LANGUAGE MODEL 微調的重要標準方法之一。

---

論文資訊
📄 Direct Preference Optimization: Your Language Model is Secretly a Reward Model
👥 Rafailov, Sharma, Mitchell, Ermon, Manning, Finn
🏆 NeurIPS 2023 · Outstanding Paper Runner-Up
🔗 arxiv.org/abs/2305.18290