Uniform convergence may be unable to explain generalization in deep learning

在深度學習領域，過度參數化的神經網絡往往能展現出令人驚訝的良好泛化能力，儘管其模型複雜度遠超訓練資料的數量。這一現象激發了大量的理論研究，嘗試揭示深層網絡泛化背後的原因。傳統學習理論中，一個核心工具是「一致收斂」（uniform convergence）技術，該方法藉由衡量模型在整個假設空間中的損失函數差異，提供泛化能力的上界保證。許多近年泛化界的推導，無論是透過 Rademacher 複雜度、VC 維度，抑或是其他容量測度，基本皆是建立在一致收斂框架下。

不過，Nagarajan 與 Kolter 在 2019 年 NeurIPS 發表的論文《Uniform convergence may be unable to explain generalization in deep learning》針對這套傳統思維提出了尖銳的質疑與反例。他們指出，儘管一致收斂理論是學習理論的重要基礎，然而在深度學習的過度參數化設定下，這些基於一致收斂的泛化界限不但往往過於寬鬆、無法反映實際泛化誤差，甚至在訓練數據量增加時，有時候界限反而會變大，與我們對「數據量越大、泛化應該越好」的直覺相悖。

研究動機：為什麼一致收斂無法充分解釋深度學習的泛化？

過去理論工作努力依賴一致收斂來解釋深度學習的泛化行為，這背後的假設是：如果我們能保證所有可能的學習器在訓練資料上的表現與其在整體分佈上的表現差距不大，則能從訓練誤差推論出泛化誤差。然而，現有許多一致收斂界限在數值上非常大，無法為實際的深度神經網絡提供有用的泛化誤差界。更重要的是，這類界限在一些實驗中隨著訓練資料的增多呈現非預期的行為——界限反而變得更糟，顯示一致收斂的理論框架，可能自身就不適合解析目前深度學習模型的泛化行為。

核心方法與創新

本論文的最大創新在於從理論和實驗兩方面，證明一致收斂在深度學習領域的局限性：

• 實驗性揭示：作者首先透過實驗展示，在多種實際的深度網絡訓練中，基於一致收斂得出的泛化界限不僅數值龐大，有時甚至隨著訓練集規模的增加而增大，與泛化誤差真正的下降趨勢背道而馳。
• 理論性建構反例：作者提出了重要的理論構造，設計了一類過度參數化的線性分類器和神經網絡，這些模型透過梯度下降訓練。更令人驚訝的是，即使考慮到了梯度下降的「隱式偏差」（implicit bias），也就是僅限於梯度下降過程中實際可能得到的分類器集合，採用目前學界常用的雙側一致收斂方式，依然無法獲得非空泛的泛化界限。換句話說，這套方法本質上無法「解釋」他們的泛化良好現象。

更精確地說，論文證明即使限定分析的範圍於所有梯度下降最終可能達成的分類器中——這些分類器在測試集上的錯誤率都非常小（例如小於某個 $\epsilon$）——一致收斂仍會給出一個大於 $1-\epsilon$ 的無意義泛化界限。此結果顯示，統計學習理論基於一致收斂的典型框架，有其根本局限，無法用來完成深度過度參數化模型的泛化解釋。

主要實驗與理論結果

論文中包含多種數值實驗，展示一致收斂泛化界限的不合理行為：

• 當增加訓練資料量時，理論界限反而增大，違背直覺。
• 在特定過度參數化線性模型與神經網絡上，梯度下降能找到零訓練誤差且擁有良好泛化表現的參數解，但相應的一致收斂界限依然是空泛的。

理論證明部分，作者透過構造具有特殊特性（例如極端過度參數化且訓練誤差極小）的具體模型，嚴格推導了一致收斂界限的下界，顯示不可能從這種框架出發得到合理界限。

對 AI 領域的深遠影響

本論文對深度學習理論界的挑戰與啟發極為重要。過去學界對深度神經網絡進行理論分析，普遍使用一致收斂作為核心工具，本研究表明僅靠這種技術路徑很可能難以完整揭示深度模型良好的泛化現象。此結果促使學界重新審視泛化理論的基礎方法，尋求突破一致收斂框架的新思維。

具體而言，本論文推動了以下幾點發展方向：

• 泛化理論的革新：由於一致收斂無法全面解釋過度參數化模型的泛化，本論文促使研究者開始探索其他理論框架，例如基於算法穩定性、局部神經網絡結構、隱式正則化及幾何或優化動力學等新的理論工具。
• 對深度學習優化過程的重視：論文強調要理解深度學習的泛化能力，不僅要考慮假設空間與容量，還應深入研究優化演算法（如梯度下降）本身的隱式偏好，這為後續研究「優化—泛化」關係提供重要理論基礎。
• 促進機器學習理論與實踐的融合：該成果提醒我們理論分析必須貼近實際深度學習的訓練過程與模型結構，以避免理論過於理想化而與實際現象脫節。

總結而言，Nagarajan 與 Kolter 這篇獲得 NeurIPS 2019 Outstanding New Directions 獎的開創性論文，從根本上揭示了一致收斂作為泛化解釋工具的不足，促使 AI 理論界探索全新理論視角，這對未來深度學習理論的進步與精緻化具有深遠且持續的影響。

---

論文資訊
📄 Uniform convergence may be unable to explain generalization in deep learning
👥 Nagarajan, Kolter
🏆 NeurIPS 2019 · Outstanding New Directions
🔗 arxiv.org/abs/1902.04742