Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (GFlowNet)

在當前生成模型的研究中，如何有效且多樣性地產生高品質候選數據，是一項核心挑戰。傳統生成模型如變分自編碼器（VAE）與生成對抗網絡（GAN）雖然已廣泛應用於影像、語言的生成任務，但在需求同時考量多樣性、多模態的任務時，往往容易陷入模式崩潰（mode collapse）或需要大量迭代來強化樣本的多元性。2022 年 ICLR 會議上 B. Bengio 等人提出的《Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (GFlowNet)》在此領域帶來突破，該論文獲頒「Outstanding Paper」獎，其創新方法不僅改善生成多樣性，也使生成過程更高效。

研究背景與動機

生成模型的主要目標是在複雜且高維的空間中撰寫一個潛在分布的近似。傳統模型多用於生成單一最優解或生成多樣樣本，但通常依賴迭代優化或概率評估，效率受限且不適合離散結構生成。尤其在如分子設計、機器學習中的組合優化等領域，期待透過模型同時獲得多個候選解，並依機率分布對其多樣性進行調控，卻缺乏可行的非迭代生成解決方案。

GFlowNet 動機即為此：希望透過學習生成流程中的「流量（Flow）」分布，使模型能非迭代地從複雜分佈中快速抽樣多模態候選，避免模式崩潰且兼具高效與多樣性。

核心方法與創新

論文中作者提出以 Flow Network 為基礎的生成架構（GFlowNet），該架構將生成過程視為一個馬可夫決策過程（MDP），其中狀態空間代表生成候選的逐步構造結果，而每個動作則是向該候選添加元素。系統核心是學習一組流量函數(flow functions)，用以描述從初始狀態到最終狀態(完整候選)的「流量」，其流量大小反映了候選的非標準能量（reward）分佈。

與傳統強化學習僅尋找高回報動作不同，GFlowNet 透過流量平衡條件，促使生成的多條路徑總體流量匹配目標分布，這意味著模型學習生成政策時不僅局限於單一路徑，能廣泛覆蓋多種可行結構，實現真正多模態樣本生成。

具體來說，作者提出了以下多項創新：

• 流量平衡原理（Flow Matching Conditions）：將生成任務轉化為學習一組滿足流量守恆的函數，確保狀態間的流入與流出相等，推動模型學習分佈匹配機制。
• 非迭代直接抽樣：透過學習合理政策(policy)，能夠下游非迭代地從候選空間直接抽樣，省去傳統方法須多次採樣與篩選的複雜程序。
• 多模態分佈擬合能力：相較於最大化期望回報的 RL 條件，GFlowNet 允許根據回報函數形成多峰分佈，保持多樣性並避免模式崩潰。
• 通用性與理論基礎：該方法理論基礎堅實，且能被用於離散及結構化空間如分子結構、程序合成等。

主要實驗結果

論文中，作者在合成分子設計任務上展示了 GFlowNet 的強大效能。實驗對比了多種生成模型含組合優化強化學習、分子圖生成模型，重點評估生成候選的多樣性與報酬（reward）分數。

結果顯示：

• GFlowNet 不僅能生成報酬較高（即分子性能優秀）的候選，且在多樣性指標上顯著優於基線方法。
• 模型能有效捕捉複雜多峰分佈，使得抽樣結果遍及多個設計空間區域，減少相似樣本過度集中問題。
• 在計算效率上，由於非迭代抽樣，生成過程更快速且穩定，有利於實際大規模應用。

此外，作者也在部分離散結構合成問題中演示 GFlowNet 更適合探索多種多樣解的問題設定，而非只找到單一最佳解。

對 AI 領域的深遠影響

GFlowNet 的理論與實踐創新帶來多方面深遠影響：

首先，生成模型領域因其距離「真正理解複雜數據分佈」仍有挑戰，GFlowNet 提供了一條新的思路與工具，即透過狀態間流量守恆條件學習策略，推動生成多模式分布的實現，改進了現有模型的多樣性問題與抽樣效率。

其次，在強化學習與結構化數據生成的結合方面，GFlowNet 融合了流網路理論與生成策略，為複雜離散空間中的策略學習提供了新的數學架構，尤其適合跨足分子設計、藥物發現、程序合成與自動化機器學習等領域。

第三，非迭代且多樣化候選生成的能力，符合真實應用中常見的需求：多方案並行探索、快速取得多種可行方案，為 AI 在實務研發中提供具競爭力的解決方案，讓交互式設計與決策更具靈活性與效率。

綜上所述，GFlowNet 不只為生成模型注入創新動能，也為產業界與學術界解決多樣性生成與高效抽樣問題，鋪陳了下一代智能系統的基礎，成為 2022 年 AI 頂會備受矚目的重要貢獻。

---

論文資訊
📄 Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (GFlowNet)
👥 Bengio, Jain, Korablyov, Precup, Bengio
🏆 ICLR 2022 · Outstanding Paper
🔗 arxiv.org/abs/2106.04399