Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (GFlowNet)

在人工智慧領域中，如何有效地從複雜且離散的結構空間中生成多樣且高質量的候選解，是許多應用如分子設計、組合優化等面臨的挑戰。傳統強化學習與生成模型通常傾向於產生單一的最優解，忽略解空間中其他具有高價值但不同結構的多樣解。ICLR 2022 年獲獎論文《Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (GFlowNet)》由Bengio等人提出一種創新的生成式框架——GFlowNet（Generative Flow Network），旨在解決「非迭代且多樣候選解生成」的問題，對於推動結構化生成模型、增強多樣性策略探勘有重要啟示與突破。

研究背景與動機

在傳統機器學習與強化學習中，生成對象通常依賴於最大化累積報酬（return maximization），此策略往往導致模型收斂於單一最佳解。然在許多科學與工程應用中，僅有單一解明顯不足，反而需要一組多樣性豐富且均享有高報酬的不同解。例如，在分子設計領域，設計新分子時希望不僅找到能提高活性的分子，同時涵蓋結構多樣性以利後續篩選與研究；在黑盒優化問題中，批次查詢必須同時高效且多元，才能在有限的查詢回合中提升整體優化的可能性。

現有解決方案如馬爾可夫鏈蒙地卡羅（MCMC）方法能夠從能量函數（energy function）抽樣，但其計算代價高昂、搜索效率低且只擅長局部附近區域的探索。另一方面，一次性產生多樣候選的生成式模型若能像強化學習般將搜尋成本在訓練階段攤銷，則可在推理時達成低成本且快速生成。然而，如何設計一個能考慮「多條不同路徑產生相同結局」這類狀況下，仍能忠實學習目標分布策略的模型，是本論文嘗試突破的核心問題。

核心方法與技術創新

本文核心貢獻在於提出一套稱作 Generative Flow Networks (GFlowNet) 的框架，將生成過程視為一個流網路(flow network)：每個狀態到下一狀態之間的轉移概率，就如同流量在網路中傳遞一般；整體生成某一目標結構的概率，等同於從起始節點流到終止節點的總流量。

具體而言，GFlowNet 將候選物件的生成視為一條條由狀態串連而成的軌跡，而不同軌跡可能對應同一終局狀態（例如不同原子添加序列可能產生同一分子）。此時透過設計「流量一致性(flow consistency)」的約束條件，令進入任一狀態的總流量等於其流出流量，類似於馬可夫決策過程（MDP）中Bellman方程的概念，將這些約束轉換為可優化的損失函數。

在訓練過程中，GFlowNet 本質上學習一個隨機策略，使得根據該策略所生成最終狀態的概率，與該狀態的正向「獎勵函數」成比例。相較於強化學習只重視取得最大累積獎勵的單一路徑，GFlowNet 強調在高獎勵狀態間保持流量平衡，確保多條軌跡共同貢獻生成概率分布，提高生成解的多樣性。

此外，論文巧妙借鑑Temporal Difference（TD）學習方法的想法，將生成過程的〈流量平衡方程〉轉成類似TD誤差的學習目標，這使得GFlowNet能夠有效地在非迭代且端到端的訓練架構下學習生成策略，而非僅依賴採樣後的迭代估計。

主要實驗結果

在實驗部分，作者首先在一個簡化但多峰值的模擬環境中驗證了GFlowNet的性能。結果顯示，GFlowNet 不僅能準確學習到多個高報酬區域的分布，還能生成更豐富多樣的候選解，明顯優於採用標準強化學習返還最大化的策略及傳統MCMC方法。

更進一步，作者將GFlowNet應用於分子合成任務，這是結構生成問題中的經典挑戰。實驗展示GFlowNet成功生成出多樣且高效能的分子結構，且在分子活性優化與結構多樣性之間取得良好平衡，顯示其可行性與拓展潛能。

值得強調的是，GFlowNet的生成時間顯著低於 MCMC 等迭代方法，突顯其在實際應用中快速生成大量候選的優勢。此外，多樣性提升不僅是理論上的分布匹配，也在具體任務中轉化為優化策略有效性的提升。

對 AI 領域的深遠影響

GFlowNet的提出為生成模型和強化學習兩大領域架起概念橋樑。它不僅突破了強化學習「單最佳解」的限制，提供了一種可理論保證從「能量函數」直接生成多樣候選的途徑，也讓生成模型可以借助強化學習中的流程控管，使生成更具結構化且符合目標分布。

這種將生成過程視作網路流的創新觀點，有潛力被擴展應用到許多複雜結構化領域，包括複雜圖形、自然語言合成、計算機代碼生成等，尤其在需要多樣性和效率兼顧的應用場景下如新藥發現、自動化設計與優化等均具高度價值。

此外，GFlowNet結合TD學習的策略為非迭代生成提供了一個理論嚴謹且實用的訓練框架，對於未來研究如何在生成過程中平衡探索與利用、確保生成分布的忠實性，具有指導意義。隨著研究者逐步深入，GFlowNet或將成為結構化生成模型設計的重要基石，推動AI在科學發現與工程創新中的應用更上層樓。

總結而言，《Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation》這篇傑出論文提供了結構化生成的新思維與理論工具，解決了現有方法在多樣性與效率上的難題，對機器學習及人工智慧的生成模型發展具有里程碑意義，是值得工程師與研究者深入研讀與實踐的重要成果。

---

論文資訊
📄 Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (GFlowNet)
👥 Bengio, Jain, Korablyov, Precup, Bengio
🏆 ICLR 2022 · Outstanding Paper
🔗 arxiv.org/abs/2106.04399