Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction

在近年來的人工智慧研究中，生成式模型（Generative Models）特別是在影像生成領域的應用一直是熱門焦點。隨著深度學習架構不斷進步，如何在保持視覺品質與細節的同時，實現高效率且具擴展性的圖像生成成為當今亟需解決的挑戰。2024 年 NeurIPS 上由 Tian、Jiang、Yuan、Peng 與 Wang 等學者發表並獲得最佳論文獎的 「Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction」，提出了一種創新的自回歸視覺建模架構，成功在圖像生成的尺度與品質上同時取得突破，這對於未來大型圖像生成模型的設計與實務應用有深遠的啟示。

研究背景與動機

傳統的圖像生成方法大致可分為兩類：一是基於像素級自回歸（pixel-level autoregressive）的方法，如 PixelCNN 與 PixelRNN，這類方法擁有細緻且分布精準的生成能力，但生成過程通常相當冗長且難以擴展至高解析度圖像。另一類則是潛在空間生成模型（如 VAE、GAN、Diffusion Models），在生成速度與解析度上表現較好，卻可能在細節表現或生成多樣性上受限。

面對上述困境，本論文團隊針對「如何在擴展至高解析度的同時，仍保有強大的生成視覺細節與分布捕捉能力」提出核心問題。由於直接在像素層面進行自回歸生成隨著影像尺寸增加，計算負擔呈指數級成長，該論文動機在於利用多階段尺度預測，打造一套能夠跨尺度進行自回歸預測的生成架構，以此降低複雜度並提升擴展性。

核心方法與創新

本論文的核心貢獻即是提出「下一尺度預測（Next-Scale Prediction, NSP）」的概念和模型架構，使得圖像生成不再直接以像素為單元，而是在多層尺度的框架中自回歸建模。具體來說，模型會先從較低解析度開始生成粗略影像，接著以此作為條件，逐步預測更高解析度的細節，並在每一尺度層面執行自回歸生成。這個過程類似於從抽象到具體，分階段細化影像內容。

這套方法主要包含以下幾項技術創新：

• 多尺度自回歸架構：傳統的像素自回歸是單一層級的流程，而 NSP 利用多尺度圖像金字塔結構，將生成問題拆解成標準解析度層層遞進，減少每層的預測空間，從而大幅降低計算複雜度。
• 條件自回歸預測：高尺度影像的生成以低尺度影像為條件，模型學習在更高解析度層面增加細節，保證階層間連續性與細節的自然過渡。
• 高效訓練與樣本生成策略：藉由分段生成的設計，訓練過程中能夠有效利用層次資訊，並透過序列化的預測調整生成長度，使得模型在大尺度下依然能保持良好效果與實用速度。

此外，作者將這套 NSP 方案實作在先進的自回歸模型架構上（含Transformer等），同時利用結合相鄰尺度資訊的特徵處理機制，強化跨層信息流動，進一步提升生成細節與視覺連貫性。

主要實驗結果

本論文在多個公開大規模圖像生成資料集（如 ImageNet、FFHQ 等）上進行嚴謹評測，結果展示其模型在解析度擴展性、自回歸生成的時間效率、以及生成影像品質上均優於當前多個基準模型：

• 在 ImageNet 512×512 尺度下，NSP 方法顯示比 PixelCNN、Diffusion Models 等在質量指標（FID、IS）上有顯著提升，且生成時間縮短達 30% 以上。
• 在人臉生成資料集 FFHQ 中，其多尺度自回歸策略能夠捕捉極其細膩的肌膚質感和光影變化，生成影像具有高度自然感與多樣性。
• 模型的擴展能力尤為突出，可透過增加尺度層數穩定地生成高達 1024×1024 的圖像，解決傳統自回歸模型運算量暴增、訓練失效的瓶頸。

另外，作者也展示了該模型在視覺條件生成（如文字到影像、多模態結合）上的應用潛力，證明 NSP 架構具有高度的泛化能力與應用彈性。

對 AI 領域的深遠影響

這篇論文在視覺生成模型領域具有多重意義，尤其是在高解析度影像生成的實務應用與理論基礎上，帶來以下深遠影響：

1. 架構設計創新：多尺度自回歸預測突破了傳統單層像素生成的限制，為未來圖像和視頻生成架構提供全新設計思路。這種分而治之的策略符合人類視覺處理的層次性，有助於開展更具解釋性與控制性的生成模型研究。
2. 生成效率優化：透過降低單層次的生成複雜度，NSP 模型極大提升了生成速度，這對於應用場景如即時影像合成、虛擬實境等有重大實務價值。
3. 跨尺度特徵融合的示範效應：本作法利用下游尺度作為上游的生成條件，成功激發跨尺度交互的潛能，這對多模態、多視角及連續場景生成等研究具有借鏡意義。
4. 促進生成模型的可擴展性研究：隨著模型尺寸日益龐大，如何在硬體與運算限制下保持高品質生成是學界重大挑戰。NSP 提供了可行的結構化縮放解決方案，對產業界研發大規模生成模型具啟示作用。

總結而言，Tian 等人提出的 Visual Autoregressive Modeling 框架，不僅深化了自回歸生成模型的理論基礎，亦實際改進了大尺度高品質影像合成的可行性，展現了學術與工程實務的雙重價值，促使高解析度圖像生成邁出堅實的一步。相信未來在生成模型與多維度視覺任務的發展中，「下一尺度預測」將成為核心技術之一，推動 AI 視覺智能再創新高。

---

論文資訊
📄 Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
👥 Tian, Jiang, Yuan, Peng, Wang
🏆 NeurIPS 2024 · Best Paper
🔗 arxiv.org/abs/2404.02905