以「較差版本」自我引導 擺脫擾動模型中的品質與多樣性糾纏——《Guiding a Diffusion Model with a Bad Version of Itself》深度解析

近年來，基於擴散模型（Diffusion Models）的圖像生成技術掀起了人工智慧領域的革命，從生成高品質自然圖像到文本到圖像的轉換任務，其優異表現已成為影像生成的主流架構。然而，研究者們在提升生成圖像的「品質」與「多樣性」之間常陷入一種矛盾或稱糾纏的困境。如何在保持圖像清晰真實的同時，兼顧生成樣本的變化豐富度，是本領域一個核心且挑戰性的問題。

本篇由 Karras 等人於 NeurIPS 2024 發表並榮獲最佳論文亞軍的作品《Guiding a Diffusion Model with a Bad Version of Itself（以自身較差版本為引導）》提出了一種出人意料的解決方案。他們成功將品質與多樣性的控制解耦，且不需犧牲自由度，顛覆了目前流行的「無條件模型引導有條件模型(Classifier-Free Guidance)」的思路，並在 ImageNet 等標準資料集上刷新生成性能指標，展示驚人的成效。

研究背景與動機

擴散模型在生成過程中，典型的改進策略是利用「無條件模型」作為引導者，幫助「有條件模型」生成更貼合提示詞的圖像，這個方法稱為「無分類器引導」（Classifier-Free Guidance, CFG）。CFG 確實能提升生成圖像的精準度和細節表現，但代價是生成結果的多樣性大幅下降，導致系統在變化性表現上受限。

過去，多數方法將品質提升與多樣性犧牲視為不可避免的「立體三角」，這限制了擴散模型的靈活應用。同時，生成模型自我調控與互補引導策略尚未充分被探索。作者敏銳捕捉到：如果引導模型本身是「較差版本」的自己，也許可以調整引導強度，讓品質提升與多樣性減少不再綁定。

核心方法與技術創新

這篇論文的核心創新點在於將引導者由「無條件模型」改為「自身較小或訓練不足的版本」。簡言之，作者將同一架構、同一目標但能力較弱的模型用作「輔助判斷官」，於反向擴散過程中協助主模型完成更精確的圖像生成。

• 引入「壞版本」(Bad Version)引導：作者透過減少訓練步數或使用較小架構，獲得目標模型的次級版本。此版本整體表現較弱，但在生成過程中能提供不同程度的訊息，引導主模型同時提升品質而不強迫模式收斂至低多樣區域。
• 品質與多樣性解耦：與過去CFG方法裡將無條件字串led至低變異不同，使用「壞版本」引導能讓用戶設定品質提升的強度，而不必犧牲生成之多元樣態。如同將高品質目標與低品質回饋交互調節，雙重控制走向更理想的平衡。
• 方法通用性：該策略不僅適用於有條件模型，對純無條件擴散模型同樣有效，大幅提升純生成品質，具有廣泛應用潛力。

此外，作者在算法中詳細設計了引導函數與反向擴散步驟的交互機制，使過程穩定且易於整合現有框架，不增加推理時的過多計算負荷。

主要實驗結果

作者在多個標準資料集上進行了嚴謹驗證，尤其以 ImageNet 64x64 和 512x512 解析度的生成任務為核心焦點：

• Fidelity：刷新影像品質指標 FID (Frechet Inception Distance)，64x64 解析度達到驚人的 1.01，512x512 則為 1.25，這兩項均為公開權威模型中最優。
• 多樣性維持：與經典 CFG 方法相比，雖提升細節與對提示詞的貼合度，但多樣性卻沒有顯著下降，突破了質與變的傳統糾纏。
• 無條件模型改善：應用此引導手法於純無條件擴散模型，也明顯提升輸出質量，代表該方法跨任務皆有貢獻。
• 消融研究：系統性評估了引導強度、壞版本模型大小與訓練程度的影響，驗證了理論的合理性與實際效果的穩健性。

整體實驗部分清楚證明，使用自身較差版本作為引導，不僅能取得前所未有的圖像品質，同時解決困擾業界多時的多樣性犧牲問題。

對 AI 領域的深遠影響

此篇論文的意義大於單純提升生成品質，其最重要的貢獻在於提供了一條全新思路，顛覆了擴散模型中品質與多樣性不可兼得的普遍認知。以下幾點可論述其深遠影響：

1. 引導策略的理論創新：以自身較弱版本自我引導的策略，未來可擴展至其他生成模型架構，不限於擴散模型，啟發新一波生成模型優化方法。
2. 實務應用價值：在生成藝術、醫療影像合成、資料擴增等多領域大幅提升輸出品質，降低多樣性損失帶來的風險，令產品開發更具彈性與可靠性。
3. 助力生成模型的可控性研究：這項研究促進了可控生成的研究發展，讓模型生成流程中不同因子能更細粒度操控，符合工業界要求的精細調整。
4. 激發後續研究：未來有望探討「多層次壞版本引導」、「引導模型結構選擇」或「互相學習的多模型協同生成」，推動生成模型理論與應用的雙重進步。

總結而言，本論文不僅在生成品質上寫下全年齡使用公版網絡的新紀錄，更刷新了我們對生成模型動態調控與引導邏輯的理解，其提出的「以自身較差版本引導」的新穎思維，已成為擴散模型領域不可忽視的里程碑。

期待未來此方法在更複雜的多模態生成、視頻合成等任務中發揮更卓越的作用，推動 AI 生成技術邁向更成熟、更普及的階段。

---

論文資訊
📄 Guiding a Diffusion Model with a Bad Version of Itself
👥 Karras, Aittala, Kynkäänniemi, Laine, Aila, Lehtinen
🏆 NeurIPS 2024 · Best Paper Runner-Up
🔗 arxiv.org/abs/2406.02507