Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (GFlowNet) 深度解說

在現代人工智慧與機器學習領域中，生成模型（Generative Models）扮演相當重要的角色，廣泛應用於圖像生成、序列建模甚至分子設計等多種領域。傳統上，許多生成模型著重在如何產出具備最高期望報酬（reward）的單一解答，這種「回報最大化」（return maximization）策略在許多情境中非常有效。然而，許多實際應用場景中，我們希望能夠從高報酬解答的多樣性集合中擷取多個候選項，而非僅專注於由單一最佳路徑產生的解。例如分子設計任務，開發新藥時往往需要同時考慮多種結構，以促進後續的實驗和篩選過程。此時，取得多樣且報酬皆高的候選分子，更能有效提升研發效率和成功率。

研究背景與動機

過去對於在離散空間中生成多樣化高報酬解決方案的方法多依賴於馬可夫鏈蒙特卡洛（MCMC）技術，藉由在目標分布的近似下進行抽樣。MCMC 雖然理論上保證樣本的正確分布，但在實務上往往面臨計算成本高、收斂速度慢，以及只能進行「局部探索」的限制。此外，在快速生成多樣候選的需求下，隨機馬可夫鏈方式顯得不夠靈活與高效。

因此，本論文提出了一種全新架構：「Flow Network based Generative Models」，即 GFlowNet（Generative Flow Networks），目標在於學習一個隨機策略（policy），該策略能根據對最終目標物件的正值獎賞函數（reward function）分配其生成該物件的機率，且此機率與獎賞值呈正比，而非集中在最大報酬的單一路徑。換句話說，GFlowNet致力於構建一個生成過程，使得產生解決方案之機率自然偏向高價值解，但又能保持解的多樣性，滿足實務上的需求。

核心方法與創新

GFlowNet 的核心創新，在於將生成流程視作一個「流網路」（flow network）。在此架構中，每個狀態（state）代表生成過程中的一個中間構造，而從該狀態出發的行動（action）則貫穿成為一條生成該物件的軌跡（trajectory）。透過引入流（flow）的概念，論文提出了一組流量一致性（flow consistency）方程式，確保流經每個狀態的入流和出流量平衡，且最終流量分佈與目標報酬分佈一致。

此設計靈感源自強化學習中的時序差分（Temporal Difference, TD）學習算法，將生成過程中的期望報酬轉換為流量守恆的形式，讓模型可透過優化這些一致性條件來學習生成策略，而無需透過迭代調整固定抽樣程序。該目標函數與 Bellman 方程類似，但專門適應多條軌跡通往同一最終狀態的情況，這在分子合成等問題中尤為重要，因為同一分子可由多種序列產生途徑構建。

具體來說，GFlowNet 對所有可能的生成軌跡構建起流量網路，其中每條路徑的流量比例應接近目標分布的獎賞函數值。訓練目標就是促使流量一致性方程成立，確保整個網路與目標分佈對齊。這使得訓練完成後，從學得策略中抽樣即能實現非迭代且多樣化的樣本生成，顯著提升效率與多樣性。

主要實驗結果

作者在論文中設計了一系列能彰顯GFlowNet優勢的實驗，包含一個多峰獎賞函數的簡化問題域，以及分子合成任務的實驗。實驗結果顯示：

• GFlowNet不僅在生成高報酬解的能力上優於傳統的回報最大化策略，亦能涵蓋多個重要峰值（modes），成功實現多樣化樣本生成。
• 相比馬可夫鏈蒙特卡洛方法，GFlowNet在樣本生成速度上展現極大提升，且無需依賴長時間迭代與抽樣，因為策略已在訓練階段學會整體分布特性。
• 在分子設計任務中，GFlowNet能有效從複雜且多樣的結構空間抽取高價值分子，提升潛在的藥物發現效率。

此外，論文理論部分嚴謹證明任何全局最小解的策略，均能保證生成機率正比於獎賞函數，具備良好的數學保證。

對 AI 領域的深遠影響

GFlowNet 推出了一種新穎且具泛用性的生成建模範式，為解決「如何有效且快速生成多樣、高價值候選解」這一挑戰提供了全新思路。其優勢在於不僅能兼顧效率，也能保障樣本多樣性，這對於需要面對高維、複雜、且多峰分布的黑盒函數優化任務（如材料科學、新藥研發、機器設計等）極具價值。

從更宏觀角度看，GFlowNet架構可視為強化學習與生成建模的結合典範。它巧妙地將生成過程中的狀態轉移視為流動，借鑑時序差分方法來設計學習目標，推動了非迭代生成技術發展。這不僅逼近了傳統 MCMC 的目標分布優點，還大幅提升了生成速度與多樣性，有助於未來自動化設計與決策系統的建置。

未來，GFlowNet有潛力成為廣泛應用於結構生成、策略搜尋與離散空間多樣性探索的基礎技術。論文成功榮獲 ICLR 2022 傑出論文（Outstanding Paper），凸顯其理論與實驗貢獻的卓越性與前瞻性。這項工作不僅推進了生成建模領域的研究深度，也為AI應用在科學與工程問題中帶來更多可能性。

總結而言，GFlowNet為多樣性候選生成提供了一條高效可行的新途徑，充分展現了流網路和強化學習方法結合的威力，值得具備基礎AI知識的研究人員與工程師深入研究並嘗試於各項離散結構生成任務中應用。

---

論文資訊
📄 Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation (GFlowNet)
👥 Bengio, Jain, Korablyov, Precup, Bengio
🏆 ICLR 2022 · Outstanding Paper
🔗 arxiv.org/abs/2106.04399