Generative Pretraining From Pixels (iGPT) 深度簡介

隨著深度學習技術的快速演進，尤其是在自然語言處理（NLP）領域，自監督學習與大規模預訓練模型已成為主流策略，例如 OpenAI 的 GPT 系列，成功透過語言建模任務學習通用語言表示。然而，在計算機視覺（CV）領域，主流方法仍多以監督式學習和專門設計的卷積神經網路（CNN）主導，並未能完全借鑑 NLP 領域中自監督預訓練的成功經驗。本文探討的《Generative Pretraining From Pixels (iGPT)》即為此背景下的重要嘗試，旨在探索能否從影像像素序列中直接進行自監督的生成式預訓練，藉此學習具有通用性的視覺特徵。

研究背景與動機

在 NLP 領域，語言模型如 GPT 採用自回歸方式，利用大規模文字語料預訓練模型，使得模型能捕捉語言內在結構與語意關係，創造強大的下游任務泛化能力。反觀 CV 領域，圖像通常被視為靜態二維陣列，較難直接應用序列模型，且傳統卷積架構較偏向特定目標（如分類）設計，缺少一套類似語言模型的通用自監督預訓練方法。

此外，Transformer 模型的架構顯示出優秀的序列建模能力，近年已有嘗試將 Transformer 直接應用於圖像相關任務，打破了卷積主導的格局。然而如何有效地將影像數據視為序列，並以生成式語言模型類似的技術實現預訓練，仍是一大挑戰。

為此，此篇論文提出了一種稱為 iGPT（image GPT）的思路，即將影像拆解為像素序列，並透過自回歸的 Transformer 模型生成像素，藉此進行強大的生成式預訓練，期望通過大規模訓練自動提取對下游任務有用的視覺表示。

核心方法與創新

iGPT 的核心創新在於改變了影像的基本處理方式，將二維圖像視為一維像素序列，並採用純 Transformer 架構來建模這組序列的生成過程。方法細節如下：

• 像素序列化：將彩色圖像拆分成固定長度的像素序列，先將三通道 R/G/B 分別展開，再依序串聯，總長度相當於寬×高×3（通道數）。例如，對於 32x32 彩色影像，序列長度為 3072。
• 生成式自回歸建模：仿效 GPT 模型結構，使用多層 Transformer 解碼器架構，透過最大化像素序列的條件機率，實現自監督的像素預測。換言之，模型透過已生成的前面像素，預測下一個像素的值。
• 非卷積純 Transformer 架構：去除傳統 CNN 中的卷積層，改用全Transformer層，這突破了過去視覺模型高度依賴卷積操作的限制，強調能否僅透過序列建模取得良好表現。
• 端到端預訓練流程：iGPT 在大量未標記的圖片像素序列上進行預訓練，學習圖像的像素分布與結構，再在下游任務如圖像分類上進行微調或特徵提取。

主要實驗結果

論文作者在多個典型視覺基準檢驗了 iGPT 的表現，實驗主要包含：

• CIFAR-10 圖像分類：在 CIFAR-10 資料集上，iGPT 不依賴卷積層，僅靠像素生成預訓練後，微調可取得優異表現，接近或者超越同期 CNN 預訓練模型。
• 特徵學習能力：在不需微調的設定下，iGPT 預訓練模型提取的中間表示，即作為特徵於簡單線性分類器下，亦可達不錯的分類準確率，證明生成式預訓練可以學到有效視覺特徵。
• 生成能力：藉由模型自回歸地生成像素序列，iGPT 可生成初步辨識度良好的圖像，儘管解析度與清晰度不及專門的生成模型，但證明效果具備可行性。

總體而言，iGPT 展示純 Transformer 從原始像素序列中學習的可行性和潜力。

對 AI 領域的深遠影響

iGPT 開啟了一個利用純生成式自監督學習建構視覺表示的新方向，這裡面隱含多項重要影響：

1. 統一序列模型框架：iGPT 展示了將圖像以序列形式建模的可能，為後續視覺 Transformer（Vision Transformer, ViT）及其他架構奠定基礎。這種將多媒體數據統一以序列方式處理的想法，促進跨模態模型設計。
2. 自監督學習價值再認識：iGPT 的生成式預訓練策略證明，不必仰賴大量標記資料，也能學到良好的視覺特徵，強化了自監督學習在計算機視覺的應用潛力。
3. 挑戰卷積優勢假設：長期以來，卷積神經網絡被認為是視覺任務的首選架構，iGPT 證明純 Transformer 透過像素生成也具備競爭力，啟發了後續在架構設計上的多元嘗試。
4. 推動生成模型的跨領域發展：過去生成模型在語言領域取得卓越成就，iGPT 將生成模型成功帶入視覺數據，促進生成模型與表示學習的融合發展。

未來，隨著技術持續進步，iGPT 的理念有望延伸至高解析度圖像、多模態融合，甚至視覺理解與生成的端到端結合，為人工智慧的多元感知能力奠定堅實基礎。

總結

《Generative Pretraining From Pixels (iGPT)》作為 ICML 2020 的傑出論文，突破性地將自監督生成式預訓練引入視覺領域，採用純 Transformer 模型直接從像素序列學習，成功表現出強大的視覺表示能力。不僅演示了預訓練模型跨域擴展的可行性，也推動了視覺分析從依賴卷積到序列建模的轉變。對於工程師與研究生而言，該方法提出新的思維模式與研究路徑，值得在深度學習與計算機視覺領域的工作或研究中深入探討與應用。

---

論文資訊
📄 Generative Pretraining From Pixels (iGPT)
👥 Chen, Radford, Child, Wu, Jun, Luan, Sutskever
🏆 ICML 2020 · Outstanding Paper