Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (GFlowNet) 深度解讀

在人工智慧領域中，如何有效且多元地生成高品質候選解，長期以來都是一大挑戰。特別是在結構化物件生成（如分子設計）或黑盒函數優化問題中，我們不僅要追求單一最佳解，更希望產出一組多樣化且具有高回報的候選解集合。傳統的強化學習或最大化回報策略往往傾向收斂於單一最優序列，導致探索空間的多樣性不足，而採用馬可夫鏈蒙地卡羅（MCMC）方法雖然可以逼近目標分布，卻計算成本高昂且探索往往侷限於局部。Bengio 等人在 ICLR 2022 發表的《Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (GFlowNet)》一文中，提出一種嶄新的生成流程網絡（GFlowNet）架構，突破傳統生成模型的限制，大幅提升生成多樣性與效率，因而榮獲當年「Outstanding Paper」殊榮。以下將針對該論文的研究背景、核心方法、實驗結果與對 AI 領域的影響進行深入解析。

研究背景與動機

在許多實務應用中，例如新藥物設計或材料科學，研究者希望能從龐大的候選空間中找到多個具備高效能的解，而非僅求單一定義的「最佳」解。這種需求導致了「多樣性高回報候選生成」的問題，簡言之，是要從一個複雜的物件生成空間中，以隨機策略依照某種獎勵函數分佈抽樣不同解，且機率與該解的獎勵成正比。

然而，現有主流強化學習方法，如基於最大回報的路徑搜尋，很容易陷入單峰解，忽視了多樣性。另一方面，MCMC 等能模擬目標分布的方法雖然在理論上可行，但它們需多次迭代、且通常局限於鄰域探索，導致效率低下。如何在效率與多樣性間取得平衡，並且能處理序列生成過程中不唯一路徑導致同一終點的挑戰，正是本論文試圖解決的核心問題。

核心方法與創新點

本論文最大亮點在於將生成過程視為一個 流網路 (flow network)，並構建一套基於流守恆關係的學習框架，命名為 GFlowNet（Generative Flow Network）。其關鍵概念包括：

• 生成過程為狀態與行動的有向無環圖：每一條從初始空狀態出發的生成路徑，由一連串行動串接而成，最終抵達一個目標物件狀態（例如一個分子結構）。重要的是，不同路徑可能會導向相同終點，這在傳統方法中是難以處理的。
• 流量概念：將整個生成過程中流經每條邊的「流量」定義為生成該狀態之機率乘以該路徑獎勵，以確保所有進入與離開某節點的流量守恆。這類比物理中的流體守恆定律，是整體策略與分布一致性的數學基礎。
• 基於 Temporal Difference (TD) 的學習目標：借鑑強化學習中的 Bellman 方程與 TD-learning，將流守恆方程轉化為優化目標，在訓練過程中讓網絡自我校正流量的不平衡，最終逼近理想分布。
• 多樣性與隨機性捨得的平衡：與典型尋優策略只關心最大化回報不同，GFlowNet 設計策略使得生成的物件概率與該物件獎勵成正比，同時保留多樣性，能較全面地探索解空間。

透過這種流網路抽象，GFlowNet 不僅能高效學習優質且多樣的生成策略，還可用於廣泛的結構化物件生成任務，如化學分子圖，具強適應性與擴展潛力。

主要實驗結果

在論文中，作者針對數個實驗場景展示了 GFlowNet 的優越表現：

• 多峰獎勵函數的人工任務：實驗構建一個獎勵函數擁有多個離散峰值的簡易環境，結果顯示 GFlowNet 在保持高度多樣性的同時，也能準確地學習與逼近目標分布，相較於最大回報策略明顯更具探索力。
• 分子合成任務：應用於化學分子生成，GFlowNet 不僅在生成的分子有效性上維持優異表現，也在誘導多種結構多樣化解方面勝過強化學習和 MCMC 基準方法。換言之，在相似甚至更短的訓練時間下，該方法生成的分子更加多樣且具有更高預測活性。

這些結果證明了 GFlowNet 在平衡高品質與多元性、以及加快生成速度方面具有顯著優勢，使其成為生成模型族群中新穎且具實用價值的一員。

對 AI 領域的深遠影響

GFlowNet 的提出不僅是技術上的突破，在理念上也為生成模型與強化學習之間的橋梁建立了新的方向。具體而言：

• 多樣性探索的理論基石：傳統強化學習主要聚焦最大化期望回報，較少考慮多峰解的完整性。GFlowNet 機制重新詮釋生成策略的目標分布，為多樣性探索問題提供了理論完善且計算可行的解法。
• 提升黑盒優化與結構化生成效率：GFlowNet 本質上是「學習一個抽樣策略」以取代昂貴的批次搜尋／MCMC，透過訓練前置運算攤平生成成本，對於實際需要大量候選的應用（如藥物發現、高通量材料篩選）具有極大吸引力。
• 跨領域應用潛力廣泛：除了分子生成，GFlowNet 思想可拓展至組合優化、程序生成、機器人動作計劃等眾多領域，尤其適合那些終點狀態可由多路徑達成的複雜環境。
• 啟發後續研究新方向：此架構鼓勵融合流網路理論、強化學習與生成模型，催生包括基於能量模型的生成策略、模擬退火與策略學習結合等跨領域前沿。

總結來說，GFlowNet 為生成模型引入了流量守恆的結構化思維，從根本改善了多樣性與效率兼顧的樣本生成問題。其優雅的數學理論、有效的演算法設計，以及成功的實驗驗證，使其成為生成模型領域一項極具影響力和潛力的創新成果。對於從事生成模型、強化學習、黑盒優化及結構化物件生成的研究人員及工程師而言，深入理解 GFlowNet 所代表的思維模式與技術方法，將有助於推動更具創新力和應用價值的智能系統設計。

---

論文資訊
📄 Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (GFlowNet)
👥 Bengio, Jain, Korablyov, Precup, Bengio
🏆 ICLR 2022 · Outstanding Paper
🔗 arxiv.org/abs/2106.04399