Generative Pretraining From Pixels (iGPT) 深度解析

2020 年 ICML 上獲獎的論文《Generative Pretraining From Pixels (iGPT)》由 Chen 等人提出，標誌著計算機視覺與生成式模型領域的一大突破。本文將詳細解讀該論文的研究動機、核心技術與實驗成果，並說明其對整個 AI 領域帶來的深遠影響。

一、研究背景與動機

近年來，基於 Transformer 架構的自然語言處理（NLP）模型，如 GPT 系列，因預訓練與微調的策略大幅提升下游任務表現而廣受關注。這種「生成式預訓練」（Generative Pretraining）的成功，激發了研究者探索是否可將相同策略應用於電腦視覺領域。

傳統電腦視覺模型大多利用卷積神經網絡（CNN）結構，並以標註好的資料進行監督式學習。儘管 CNN 在多數任務取得優異表現，但依賴大量標記數據且模型結構較為固定，使得模型在表現泛化和跨任務轉移上有一定限制。另一方面，Transformer 以注意力機制取代傳統卷積層，展示了強大的序列建模能力。若能將 Transformer 用於像素級的圖像生成並進行預訓練，便可能開啟影像領域的新局面。

因此，iGPT 的誕生動機在於：是否能在無監督或自監督的框架下，利用純 Transformer 模型直接對圖像像素進行建模，借助大規模無標註資料進行生成式預訓練，並藉由微調達成多樣化視覺任務的卓越表現。此舉若成功，將推動視覺模型架構及訓練方法的革命。

二、核心方法與創新

iGPT 的核心架構為純 Transformer 模型，但與自然語言處理中以文字序列為輸入不同，iGPT 將彩色影像切分成像素序列，每個像素以 RGB 三個通道的整數值表示，經過線性映射至向量空間後，組成輸入序列。具體而言：

• 將影像展平成 1 維像素序列，每個像素代表 3 個通道的整數（0~255），以離散型 token 處理。
• 利用 Transformer Decoder 架構建模此序列，透過自回歸預測任務，使模型學會從前序像素預測下一像素。
• 訓練方式為生成式自監督學習，目標是最小化從先前像素預測下一像素的交叉熵損失。

這種方法的創新之處在於，iGPT 預訓練過程並不依賴任何標註資料，也不依靠卷積結構；它直接利用傳統 NLP Transformer 於像素序列上的生成式預訓練，展現了純注意力模型在視覺領域的潛力。

此外，iGPT 的訓練規模與模型容量多樣：從小模型到超大規模 Transformer，使研究者能觀察模型容量與下游任務遷移效果的關聯，亦是該研究的亮點之一。

三、主要實驗結果

論文中，作者將 iGPT 預訓練後的模型在多個影像任務上進行微調與評估，包含圖像分類（ImageNet）、圖像生成及圖像相關轉移任務。實驗結果揭示多項重要發現：

1. 生成質量：儘管純 Transformer 在像素生成方面尚不及專門設計的 autoregressive CNN，但 iGPT 仍能較好地恢復原始圖像結構，顯示其生成能力。
2. 下游任務遷移能力：iGPT 在無預訓練的 Transformer 基礎上，大幅提高了圖像分類準確度，在 ImageNet 分類任務上達到當時非卷積基礎的最高成績，證明生成式預訓練能促進視覺任務的表現。
3. 模型規模效果：隨著模型及訓練資料量的增加，預訓練模型的表現顯著提升，契合當時「模型-資料-計算力三者擴充可持續帶來性能增長」的趨勢。
4. 架構通用性：iGPT 證明了原本設計於 NLP 的 Transformer 架構，只要將輸入轉換為合適序列形式，能有效應用於視覺領域，挑戰了卷積獨霸的傳統觀念。

四、對 AI 領域的深遠影響

iGPT 的提出，在多方面影響了後續 AI 研究與產業發展：

• 視覺與語言模型架構融合：這是最早將 NLP 中成功的生成式預訓練策略與純 Transformer 架構完整搬移到電腦視覺的嘗試，推動了跨模態與多模態模型的發展基礎。
• 突破 CNN 傳統框架：iGPT 挑戰深度學習視覺主要架構長期以來對卷積的依賴，激發後續基於 Transformer 的視覺架構興起，如 Vision Transformer（ViT）等。
• 自監督學習與無標註資料價值提升：強化了自監督預訓練在視覺領域的可行性與效果，促使業界對大規模未標註資料的利用與投資。
• 促進跨領域研究思維：此成果激發學術界與產業界思考，如何將建立在序列建模、生成式學習上的技術向其他領域擴展，催生多種融合應用。

總結來說，iGPT 不僅是一次純粹架構與訓練策略上的創新嘗試，更奠定了視覺領域生成式大模型的先驅角色。它啟示了通用架構、通用預訓練方法的可能，讓後續基於 Transformer 的大型視覺模型層出不窮。雖然 iGPT 尚有生成效率與表現需改進之處，但其開拓的視野與橋接視覺與語言的思路，深刻影響了生成 AI 與多模態 AI 的發展路徑。

對於具備基礎 AI 知識的工程師或研究生而言，深入理解 iGPT 提供的方法論與技術細節，有助於掌握生成式預訓練的核心精髓，並為進一步探索跨模態架構、自監督學習及大規模模型提供理論與實務基礎。

---

論文資訊
📄 Generative Pretraining From Pixels (iGPT)
👥 Chen, Radford, Child, Wu, Jun, Luan, Sutskever
🏆 ICML 2020 · Outstanding Paper