Generative Pretraining From Pixels (iGPT) 深度簡介

在深度學習持續蓬勃發展的背景下，近年來「預訓練模型」（Pretrained Models）已成為人工智慧領域革命性的核心關鍵技術。2020 年於 ICML 發表、榮獲 Outstanding Paper 的論文《Generative Pretraining From Pixels (iGPT)》由 Chen、Radford 等人提出，為圖像生成與理解領域引入了全新的視角與方法。該論文突破傳統卷積神經網路（CNN）框架，嘗試以 Transformer 架構進行純像素級別的自回歸生成預訓練，進而探索通用影像表徵學習，對整個 AI 領域產生深遠影響。

研究背景與動機

在自然語言處理（NLP）領域，Transformer 架構透過大量文本的自監督預訓練模型（如 GPT 系列）取得了卓越成效，其核心在於從大量標註資料缺乏的情況中挖掘語言結構與語意的深層表徵。然而，在影像領域大多數成功案例依賴於設計良好的卷積神經網路架構結合監督式訓練，例如利用 ImageNet 等大規模標註數據進行訓練。受到 NLP 領域預訓練模型的啟發，iGPT 的主要動機在於探索運用 Transformer 架構、基於像素的自回歸生成模型來開創一種圖像的「通用預訓練」方式，而不依賴於 CNN 和監督式訓練。

具體而言，傳統影像模型在捕捉全局關係和長距離依賴方面表現有限，且預訓練模式尚未普及，阻礙了視覺模型的通用化。iGPT 希望提出一套自回歸（autoregressive）生成模型流程，以 Transformer 處理 1D 序列像素，利用大規模無標註圖像數據進行預訓練，讓模型學習並生成高質量圖像，進而推斷其內隱領域特徵，可作為下游視覺任務（如圖像分類）的有效基底，挑戰影像分析既有範式。

核心方法與創新

iGPT 的核心方法建立於將圖像看作長度固定的像素序列，並使用 Transformer 架構模仿 GPT 的語言建模流程，進行像素級的自回歸預測。其主要技術特色包括：

• 像素序列化：將 2D 圖像轉換成 1D 像素序列，類似 NLP 中詞彙序列的處理模式。這使得 Transformer 能直接應用於圖像資料，省去 CNN 的捲積運算。
• Transformer 自回歸生成：模型透過學習在序列上預測下一個像素值的機率分布，完成條件生成。此過程稱為生成式預訓練（Generative Pretraining），模仿語言模型的預測方式，用純像素資料進行無監督式學習。
• 端到端學習架構：iGPT 採用多層 Transformer 編碼器，搭配調整合理的模型尺寸與深度，讓模型能捕獲包括局部紋理、全局結構在內的多層次圖像資訊。
• 無監督到監督的遷移能力：完成生成預訓練後，模型中的中間層作為視覺特徵抽取器被用於監督式下游任務（如 ImageNet 分類）。此階段證明了預訓練模型能轉換成有效的判別特徵。

整體而言，iGPT 打破了以傳統卷積網路為核心的視覺建模思維，透過 Transformer 暴露模型理解圖像的潛力，成為在純像素層級基礎上的統一生成與理解架構。

主要實驗結果

作者在多個公開圖像數據集（包括 CIFAR-10 與 ImageNet）上展開了深入實驗，驗證模型效能與泛化能力。關鍵實驗與發現包括：

• 生成質量評估：iGPT 生成的圖像在定量指標（如 NLL，負對數機率）與主觀視覺品質上達到當時無監督生成模型的先進水平，展現其強大的生成能力。
• 特徵遷移能力：將預訓練的 iGPT 模型中間層提取的特徵用於 ImageNet 圖像分類，達到優於同時期許多無監督預訓練方法的準確率，證明生成式預訓練對視覺識別任務的助益。
• 模型規模影響：實驗涵蓋多個參數量級的模型，結果指出更大型的 Transformer 模型能提升生成與識別性能，呼應 NLP 領域大型模型的成功經驗。
• 消光卷積的比較：與傳統 CNN 模型正向監督訓練結果比較，iGPT 雖不完全超越最頂尖監督式模型，但在無監督語境下展現極具潛力的通用表示學習能力。

這些結果不僅證明 Transformer 在純像素生成上的可行性，也揭示生成預訓練策略作為視覺表徵學習的重要途徑。

對 AI 領域的深遠影響

iGPT 論文帶來的影響不僅是技術層面的突破，更在方法論與研究視角上推動了 AI 領域的革新：

1. 跨模態架構的融合啟示：iGPT 將 NLP 領域高度成功的 Transformer 自回歸預訓練架構移植至視覺領域，強化了跨模態、跨領域架構的可塑性與普適性，引發後續 Vision Transformer（ViT）及 CLIP 等眾多創新。
2. 視覺自監督學習的深化：隨著標註成本居高不下，自監督學習成為 AI 發展必經之路。iGPT 展示了在無監督條件下，轉換圖像生成任務為預訓練目標的可能性，促進后續多種對比學習與生成預訓練範式的湧現。
3. 模型通用化與統一化趨勢：iGPT 一體化生成與理解的框架，啟發研究者思考模型不應拘泥於具體任務，而是努力尋找能覆蓋多任務、多模式的統一模型結構。
4. 促進多模態 AI 發展：iGPT 以像素為基本單位進行學習，類似 NLP 以字元或詞元做切割，為多模態融合（語言 + 視覺）提供新的思路，為後續如 DALL·E、Imagen 等文本-圖像生成模型奠定技術基礎。

總體而言，iGPT 是圖像領域嘗試擺脫傳統 CNN 架構限制，以 Transformer 預訓練引領視覺模型走向通用性與統一性的重要里程碑。其理念與方法對隨後數年 AI 頂尖研究產生持續且深遠推動作用，成為理解人工智慧通用表示學習不可或缺的參考與啟發來源。

展望未來，隨著硬體算力持續提升及數據規模擴增，基於像素生成的自回歸 Transformer 模型或將迎來更大突破，真正實現視覺理解與生成的無縫融合，推動 AI 在機器感知、人機交互及創意生成等多個領域取得更具革命性的進展。

---

論文資訊
📄 Generative Pretraining From Pixels (iGPT)
👥 Chen, Radford, Child, Wu, Jun, Luan, Sutskever
🏆 ICML 2020 · Outstanding Paper