在現代深度學習的發展中，如何設計更高效、更具表現力且理論基礎堅實的網路架構，一直是研究焦點。2024 年 ICLR 發表的論文《KAN: Kolmogorov-Arnold Networks》由劉強等人提出，榮獲 Outstanding Paper 獎，該研究從數學理論的經典定理出發，開創性地導入 Kolmogorov-Arnold 分解定理於神經網路設計，提出了一種全新的網路架構——KAN（Kolmogorov-Arnold Networks）。這不僅在理論上突破了傳統網路的建模限制，也在多項實際任務上展現出卓越性能，進而推動 AI 研究向更具解釋性與表達能力的方向邁進。
研究背景與動機
深度神經網路已成功應用於圖像識別、自然語言處理等多種領域，但其架構設計大多依賴經驗法則，且缺乏嚴謹的數學支持。過去的工作多以通用函數逼近定理（universal approximation theorem）為基石，證明隱層神經元足夠時可以近似任意連續函數，但在實際運算中怎樣利用數理結構提升網路性能仍不可得見。Kolmogorov-Arnold 表示定理作為一項經典函數近似理論，指出任何多變量連續函數皆可表示為多組單變量函數的組合。這一理論的潛力極大，卻少被應用於神經網路架構設計。
KAN 論文的動機正是從這個角度出發：若能設計網路結構直接對應到 Kolmogorov-Arnold 定理的函數分解形式，讓神經網路學習過程更貼近數學本質，則不但增加可解釋性，也有助於提升效率及泛化能力。此外，該理論啟發了一種解析度分離的視角，有助於處理高維輸入時的「維度災難」問題。
核心方法與創新
KAN 的方法核心在於將 Kolmogorov-Arnold 表示定理形式化置入網路架構。簡單來說，這個定理指出對於任意連續函數 f(x_1, x_2, ..., x_n)，存在一組單變量連續函數 φ_q 和線性函數 ψ_p，使得：
f(x_1, ..., x_n) = ∑_{q=1}^{2n+1} φ_q(∑_{p=1}^n ψ_{pq}(x_p))
KAN 網路以此為藍本，構造出兩層明確結構的子網。第一層為多組單變量函數子網，專門學習 φ_q，第二層則學習線性組成的 ψ_{pq} 部分。這種架構將多變量函數逼近問題分解成多個單變量函數學習任務與線性組合，有效避免傳統網路中多變量耦合高維度帶來的計算與學習障礙。作者利用多層感知器 (MLP) 結合可訓練的線性映射，打造出層次分明但能端到端訓練的架構設計。
此外，針對單變量函數部分，論文提出加強函數逼近的正則化方法，確保 φ_q 在學習期間的光滑性及有效性，並利用模塊化結構優化計算效率。總體而言，KAN 架構理論嚴謹，設計巧妙，同時保持高度的靈活性，支持多種激活函數與優化策略。
主要實驗結果
作者在多個合成及真實數據集上展開實驗以驗證 KAN 的有效性。實驗包括：函數分析模擬、多維回歸問題、圖像分類與信號處理等。
- 函數近似任務：KAN 在逼近各種類型多維非線性函數（如三角函數、指數函數及高斯函數等）時，控制參數量較少的情況下達成明顯低於傳統全連接網路的逼近誤差，證明其數學結構支撐了更高的表達效率。
- 高維回歸問題：對比普通深度神經網路與 Transformer 為基礎的回歸模型，KAN 在保持較低計算複雜度下，實現了更穩定且高精度的預測性能，展示其在維度災難情況下的優越性。
- 圖像處理任務：將 KAN 作為卷積神經網路的替代或補充模組，在 CIFAR-10 和 ImageNet 下進行測試，表現出相媲美甚至優於標準架構的效果，證明架構的實用可行性。
- 泛化能力與穩定性：實驗中 KAN 不僅能加速收斂，且對輸入干擾的魯棒性較傳統網路強，體現出其架構設計中函數分解自然帶來的正則化效果。
綜合這些實驗數據，KAN 不僅從理論層面提供了一套完備的函數逼近方案，也在多種實際問題中具備優越性能，這是目前少見兼具理論嚴謹與實用價值的模型之一。
對 AI 領域的深遠影響
KAN 的提出標誌著 AI 算法設計從「黑盒」試探式調參，逐步向數學原理嚴謹化靠攏。利用 Kolmogorov-Arnold 定理這一悠久且深刻的數學成果來指導網路結構設計，示範了跨學科整合的強大潛力。此舉不僅提升了模型的可解釋性，也讓研發者有了更明確且可控的架構設計路徑，推動理論與實踐雙向融合。
從實務角度來看，KAN 透過多層次且結構化的函數分解，有效緩解了高維度輸入中模型參數爆炸與訓練不穩定問題，為未來面對高維數據（例如多模態、科學計算仿真等領域）提供了新的思路與工具。由於網路構成模塊清晰且物理意義明確，KAN 還可能帶動對可解釋 AI 與可信 AI 的進一步探索。
未來研究層面，KAN 激發了將更多經典數學定理導入深度學習框架的想像空間。譬如將代數、拓撲方法與概率理論結合到網路設計中，有助於提升 AI 模型的泛用性與安全性。此外，KAN 架構本身也具備擴展性，可望結合圖神經網路（GNN）、變分推理等技術，為複雜系統建模提供更優解。
總結而言，《KAN: Kolmogorov-Arnold Networks》是一篇結合理論深度與實驗創新，且對 AI 機制理解與實際應用同時有突破意義的傑出論文。對於 AI 研究者與工程師而言，深入理解此文不僅有助於掌握最前沿的架構設計理念，也加深了對深度學習本質的認識，並啟發將來更多跨學科研究的可能。
論文資訊
📄 KAN: Kolmogorov-Arnold Networks
👥 Liu, Wang, Vaidya, Ruehle, Halverson, Soljačić, Hou, Tegmark
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2404.19756
沒有留言:
張貼留言