Safety Alignment Should Be Made More Than Just a Few Tokens Deep

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理及人工智慧應用領域的迅速普及，模型的安全性與對齊（Alignment）成為當前研究的重要議題。所謂「對齊」是指模型生成的內容能夠符合人類的價值觀和期望，避免產生有害、不適當或誤導性的回應。雖然現有的安全對齊方法多半集中在模型輸出的「淺層結構」——譬如對部分文字或少數 token 進行約束或指令調整，但來自 Qi 等人於 ICLR 2025 發表的論文《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》指出，這種淺層對齊不足以保障大型模型在多層次語意理解與反應中的安全表現。

研究背景與動機

大型語言模型的安全風險難題，往往關聯於模型在生成過程中如何將人類設計的規範有效「嵌入」至模型內部表示。傳統的安全對齊策略，如在模型的輸出前端加強過濾或修正，通常只對少量生成的 token 施加約束，這種「表層」控制忽略了模型深層隱含語義表徵的影響，無法根本避免潛在的危害生成。

研究者觀察到，模型的安全性問題不只出現在最終輸出，而是貫穿於模型在生成語言過程中的連串中間表示與語境理解層級，這些內部狀態甚至可視為模型理解、推理與反駁的基礎。若對齊機制僅侷限於淺層 token，很可能無法觸及這些「潛藏的安全漏洞」。因此，作者提倡安全對齊需要「比少數 token 更深層次介入」，從模型內部的隱藏表徵逐層進行結合，提升對齊的全面性與穩定度。

核心方法與創新

本論文提出了一套創新的「深度安全對齊框架」，其核心理念在於將安全約束以多層嵌入的方式結合到模型的中間隱層。具體來說，作者從以下幾個角度展開：

1. 多層中間表示監控與調控：相較於只監控輸出 Token，該框架引入多個深層的隱藏狀態作安全評估指標，在每層隱藏的語意表示中捕捉潛在危險訊息。
2. 多階段梯度引導（Gradient-based Fine-tuning）：透過對模型不同層的梯度調整，強化安全信號在深層隱藏空間的表現。這種方式讓模型不只是被動包裝輸出，而是在內部語意路徑中主動調整，以避免偏差訊息流通。
3. 隱層安全表徵學習：利用對比學習（Contrastive Learning）及輔助判別器訓練，模型被要求在中間層抽取可區分安全與不安全語義的關鍵特徵，促進深層語意對齊。
4. 跨層一致性約束：為防止層與層之間安全訊息失真，該方法規劃跨層的約束函數，確保安全信號在模型管線中貫穿且一致，以達成更穩健的整體對齊。

整體而言，這套方法兼具理論嚴謹與實務可行，不只是停留在輸出層結束，而是由淺入深動態結合多層次知識，提升模型安全感知能力。

主要實驗結果

作者在多個公開的對齊與安全基準數據集上進行廣泛實驗，涵蓋危險指令過濾、有害內容識別與倫理準則遵循等任務。重點成果包括：

• 在安全性測試中，該方法較傳統只針對輸出 token 的對齊策略，顯著降低模型生成潛在風險回應的比例，尤其是在複雜指令和多輪交互場景中更為明顯。
• 模型在維持語言流暢度與生成品質的同時，深層對齊機制有效減少了因淺層調整所可能引入的副作用，如語句不自然或回答斷裂。
• 跨層一致性約束使模型在面對攻擊性與偽裝指令時具備更強的韌性，顯示出模型對不同安全威脅的泛化能力提升。
• 透過消融實驗，作者證明深層中間表示的介入是提升安全對齊效能的關鍵，單靠輸出層微調或指令設計難以達成同等效果。

對 AI 領域的深遠影響

此篇論文的貢獻超越了單一安全對齊技術層面，其核心思想強調大型語言模型安全應該貫穿模型整個生成過程的多層次結構，為未來安全研究指明了新的方向。以下為其重要意義：

1. 拓展模型安全視野：打破了以往「輸出層面」對齊的框架侷限，推動社群對模型「內部語意空間」的重視，從根本上治理安全風險。
2. 促進更精細的對齊方法開發：多層中間表示的安全監控提供了豐富的信號，未來可結合更多形式的安全約束，如情境感知、安全倫理推理等，以達到更智能的安全保障。
3. 影響生成模型微調及訓練範式：此次提出的多階段梯度引導與跨層一致性約束，為模型微調提供了新的技術手段，理論和實務上都將被廣泛借鑒。
4. 推動安全與性能兼顧的模型設計：透過內部表徵優化，不必以犧牲生成質量為代價換取安全性，助力更實用且可靠的 AI 系統廣泛落地應用。

總體來說，Qi 等人透過這篇論文深刻揭示了安全對齊需深植模型內部語意機制的必要性，並以創新的框架與實證實驗展現了有效可行的解決方案，獲得 ICLR 2025 傑出論文獎實至名歸。這不僅是大型語言模型安全研究中的一大里程碑，也將加速 AI 系統向更安全、可信賴方向邁進。

---

論文資訊
📄 Safety Alignment Should Be Made More Than Just a Few Tokens Deep
👥 Qi, Panda, Lyu, Ma, Roy, Beirami, Mittal, Henderson
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2406.05946

KAN: Kolmogorov-Arnold Networks — 重新定義神經網路的激活函數結構

隨著深度學習逐步發展為人工智慧核心技術，傳統的多層感知器（Multi-Layer Perceptrons, MLPs）作為基本結構之一，在許多任務中表現傑出。然而，MLPs 基本架構中節點「神經元」上固定使用的激活函數，與其邊權重通常是線性標量的設計，存在結構性限制。近期劃時代的論文《KAN: Kolmogorov-Arnold Networks》由劉博士等團隊，發表於 ICLR 2024 中，提出了一個革命性的神經網路設計理念：Kolmogorov-Arnold Networks（簡稱 KANs），徹底改造了激活函數與權重參數的定義，顛覆傳統 MLP 界限，獲得了 Outstanding Paper 的殊榮。

研究背景與動機

Kolmogorov-Arnold 表示定理（Kolmogorov-Arnold representation theorem）在數學函數理論中扮演重要角色，該定理指出任意多變數連續函數，可拆解成多個一維連續函數的組合。受此啟發，傳統 MLP 由多層節點線性加權結合並通過非線性激活函數形成複雜模型，但在表達自由度上受限於固定激活形式，且權重是純標量。此設計在某些高階模型需求或解釋性任務上遇瓶頸。

本論文動機在於嘗試全面解放神經網路中激活函數與權重的結構性限制，以提升模型的精度、可解釋性與擴展性。研究者提出一個新方案：將神經網路中所有權重改由「一維的可學習函數」來表示，取代傳統線性數值權重，並直接置換節點激活函數策略，期望藉此開啟更豐富的函數表示空間和互動方式。

核心方法與創新

KANs 的最大創新點在於「無標量線性權重」的設計。具體做法是，每條邊上的權重不再是單一數值，而是一個可學習、可微分的一維函數，且利用平滑樣條（spline）來參數化此權重函數。平滑樣條能夠靈活調整函數形狀，包含非線性及局部特徵的豐富表現，更能捕捉數據中微妙多樣的關係。

從結構上來看，KAN 把傳統 MLP 的「節點激活函數」概念部分轉移到「邊緣函數」上，整體神經網路不再以「神經元激活」為中心，而是由加權函數串連。此設計直觀呼應 Kolmogorov-Arnold theorem 中「函數拆解為單變數函數加權和」的核心思想，因此得名 Kolmogorov-Arnold Networks。

技術細節方面，研究團隊以高階樣條函數搭配梯度下降優化整體網路參數。透過這種高度可塑的權重函數，KANs 在理論上擁有更強的近似能力與泛化潛力，同時保持端對端可訓練。相較於一般廣泛使用的 MLP，KANs 不需預設激活函數形式（例如 ReLU、Sigmoid），讓模型自主探索最適激活動態。

主要實驗結果

本論文展示多項實驗標竿，證明 KANs 在多種場景均優於傳統 MLPs：

• 準確度優勢：在數據擬合任務上，體積較小的 KAN 模型能匹配甚至超越大規模 MLP 的表現。這表示 KAN 在參數效率上有明顯提升，有助於減少計算資源消耗。
• 神經擴展規律（Neural Scaling Laws）：理論與經驗均顯示，KANs 的性能改善隨網絡規模成長的速度快於傳統 MLP，預示在更大數據與模型規模下，KAN 可能帶來更顯著優化效果。
• 偏微分方程（PDE）求解：在物理建模領域，KAN 可用來有效逼近複雜的 PDE 解算器，展現強大的函數近似能力，且在較小模型尺寸下達成準確解，顯示其對數學與物理問題建模的契合度。
• 可解釋性與人機互動：KAN 的權重函數是明確的單變數函數，可視化直觀且易於理解。研究者示範 KAN 協助科學家以新視角「發現」數學與物理定律，將深度學習與專家智慧有效串連。

對 AI 領域的深遠影響

KANs 不只是形式上的架構革新，其背後開啟了「神經網路結構自由化」的新思維。傳統神經網路大幅倚賴固定激活函數和線性權重，KAN 就像是打開封印，讓所有邊緣權重成為更具表現力的函數，自動調整非線性結構，讓模型更靈活、更具適應力。

此舉對於下列方向具有深遠意義：

• 模型泛化與效率：KAN 能用更少參數達成更佳準確度，降低了對龐大模型的依賴，適合資源有限邊緣運算或裝置部署。
• 模型可解釋性提升：由於權重函數的可視化和可理解性，KAN 有潛力成為科學推理與符號發現的輔助工具，推動 AI 在基礎科學研究中的應用。
• 理論基礎與架構設計：KAN 向數學定理致敬，借力定理數學上的深刻結果，展示如何將嚴謹數學理論導入神經網路架構設計，促進理論與實踐融合。
• 激活函數的重新想像：KAN 挑戰了長期以來激活函數固定不變的傳統，未來有望激發更多創新結構與學習機制。

總結而言，KAN: Kolmogorov-Arnold Networks 論文提出了一套嶄新神經網路設計框架，徹底改變了激活函數和權重的角色定位，以可學習的一維函數取代線性數值權重，憑藉其理論根基與實驗效能，展現出高精度、強解釋力與良好擴展性。對於深度學習研究者與工程師來說，KAN 不僅提供了一個有效替代傳統 MLP 的方向，更打開未來深度學習模型設計的全新視野，值得投入更多探究與應用開發。

---

論文資訊
📄 KAN: Kolmogorov-Arnold Networks
👥 Liu, Wang, Vaidya, Ruehle, Halverson, Soljačić, Hou, Tegmark
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2404.19756

Mamba: Linear-Time Sequence Modeling with Selective State Spaces

在當前深度學習領域中，序列建模(sequence modeling)是自然語言處理、語音識別、時間序列分析等多項任務的基石。隨著 Transformer 架構的普及，尤其是自注意力機制的廣泛應用，模型在捕捉長距離依賴關係上獲得了顯著提升，但其內在計算複雜度也隨序列長度呈二次成長，導致在處理超長序列時計算資源及記憶體消耗劇增。面對此一挑戰，如何在維持長距離建模效能之餘，實現線性時間複雜度的序列建模，是近年研究重要的焦點。

本篇由 Gu Dao 等人於 ICLR 2024 發表並榮獲 Outstanding Paper 獎項的論文《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》提出了全新的思路與方法。作者從狀態空間模型(State Space Models, SSM)切入，利用「選擇性狀態空間」（Selective State Spaces）概念，成功設計出一種能以線性時間複雜度進行序列建模的架構 Mamba，不僅保有優異性能，且顯著降低運算負擔，具有高度工程實用性與理論創新價值。

一、研究背景與動機

傳統 RNN 及 LSTM 類模型因其循環結構天生支持序列數據處理，但在捕捉長距離依賴上仍受限，且訓練時存在難以並行化的瓶頸。Transformer 則依賴自注意力機制，能直接建模長距離依賴關係，並有效利用現代硬體的並行能力，性能與表現上有質的飛躍。惟其計算與記憶體需求為 O(N²)，N為序列長度，極大限制了可處理序列的長度。

此外，近年興起的狀態空間模型（SSM）以其結合物理系統動態特性及隱式狀態的方法，對於連續序列建模展現出理論上的優勢及應用潛力，相關工作如 S4、SSM Transformer 等皆證實在多種長序列任務中效果良好。遺憾的是，現有 SSM 方法通常受到模型設計靈活度與計算效率的制約，在特定情況下仍難兼顧性能與效率。

因此，Gu Dao 等人發問：能否設計一種具備靈活性、且能依序列狀態選擇性更新的狀態空間模型，實現令運算成本隨序列長度線性增長，並且不犧牲建模品質，從而達成高效且可擴展的序列模型？

二、核心方法與創新

Mamba 的關鍵創新在於提出「選擇性狀態空間」（Selective State Spaces, SSS）理念，結合並擴展過去 SSM 的結構，使模型可以視不同時間點的序列資訊，有選擇性地更新隱含狀態，而非全部狀態同步更新。

具體來說，Mamba 模型設計了兩大機制：

• 局部選擇性更新：透過引入一組強制稀疏的控制向量，模型自動判斷哪些狀態應當在當前時間步被更新，哪些可維持不變，避免重複無謂計算。
• 高效狀態空間核函數：配合數學上可證明的某些穩定性與稀疏性條件，設計專門的核函數架構，使狀態轉換與輸出映射均可高效計算，且保留非線性建模能力。

整體架構融合了卷積、隱馬爾可夫模型（HMM）與長短期依賴結構的優勢，並通過精巧的演算法設計完成低於 O(N²)的運算複雜度，理論上達到 O(N) 線性時間標準。

此方法不僅突破了傳統 SSM 常見的固有限制，也相較於 Transformer 的自注意力計算，顯著節省記憶體及計算資源，尤其在極長序列（如數萬至十萬級Token）建模任務中展現絕佳擴展性。

三、主要實驗結果

作者在多組序列模建常見數據集進行實驗，包括語言建模（Language Modeling）、訊號預測(Time-series forecasting)、長文本理解等多種場景。

• 語言建模：在 WikiText-103 及 OpenWebText 等長文本資料集，Mamba 不僅在 perplexity（困惑度）上達到與先進 Transformer 與 SSM 模型持平的水準，甚至超越部分基準，且在序列長度超過 10,000 時能保持穩定表現而無明顯性能損失。
• 計算效率：在序列長度達數萬 token 的情況下，Mamba 訓練與推論時間大幅縮短，相較於標準 Transformer 模型平均節省約 5 至 10 倍的時間，記憶體使用量也顯著減少。
• 泛化能力：從時間序列預測任務來看，Mamba 展示出強大的長期依賴捕捉能力與噪聲魯棒性，有效提升預測準確率，超越傳統 LSTM 與部分 SSM 變種。

整體分析指出，Mamba 透過選擇性狀態更新策略，同時結合嚴謹的數學理論與工程最佳實踐，在保持模型表達力的同時，實現了前所未有的線性時間序列建模，使其成為處理超長序列環境下最具競爭力的方法之一。

四、對 AI 領域的深遠影響

Mamba 所提出的 Selective State Spaces 框架帶來了序列建模理論與實踐的重大突破。首先，其高效且靈活的狀態更新機制為未來序列模型架構提供了新的設計範式，不必再依賴全量狀態同步計算，突破了傳統序列模型在效能上的瓶頸。

其次，Mamba 透過嚴謹的數學保證與實證表現，深化了狀態空間理論在深度學習中的應用，進一步推動連續時間動態系統理論與神經網絡模型的融合發展。這不僅利於長序列任務，也能被拓展到控制系統、動態系統建模等領域。

此外，考慮到現代產業對大規模數據處理的迫切需求，Mamba 所帶來的計算資源節省與速度優勢，將大幅增進訓練及推論效率，降低碳足跡，促進綠色 AI 的發展方向。特別是在雲端服務和邊緣計算場景中，具備顯著實用價值。

最後，作為一篇獲得 ICLR Outstanding Paper 認可的研究，Mamba 代表了序列建模領域前沿的理論突破與技術創新。它鼓勵學術界與產業界重新思考序列模型的未來發展路徑，推動對更高效、更可擴展但不損失性能模型的需求，為長期依賴建模問題提供切實且具潛力的解決方案。

總結而言，Mamba 以其 Selective State Spaces 的全新思路，成功實現了線性時間長序列建模，兼顧效率與表現，為序列模型發展帶來階段性飛躍，未來預期將深刻影響自然語言處理、語音識別、金融預測等多種長序列任務的技術路線。

---

論文資訊
📄 Mamba: Linear-Time Sequence Modeling with Selective State Spaces
👥 Gu, Dao
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2312.00752

Learning Interactive Real-World Simulators

在當今人工智慧（AI）領域內，生成模型已經徹底改變了文本、圖像與影片內容的創造方式。然而，下一個具劃時代意義的里程碑，或許是能夠根據人類、機器人或其他互動代理（agents）所採取的動作，模擬出逼真的互動體驗。這種「互動式真實世界模擬器」的建構，不僅能推動娛樂產業如遊戲與電影的內容可控創作，更能讓訓練中的具體體現智能體（embodied agents）在模擬環境完成學習後無縫轉移到真實世界，徹底改變訓練與部署機器人的流程。

研究背景與動機

過去，具備高自由度和真實感的模擬器多依賴繁複手工建模或藉由物理引擎精雕細琢，這不僅成本高昂且難以涵蓋真實世界複雜多變的互動情境。另一方面，互聯網上大量且多元的影像、影片、機器人操作與導航資料，蘊含豐富且跨領域的互動信息，成為打造「通用模擬器」的一大契機。透過生成模型來學習真實世界中能回應人類行為的模擬過程，能否實現一個兼顧多模態、多維度且能擬真響應多層次指令的模擬系統？本論文團隊由此出發，提出UniSim (Universal Simulator) 的概念及技術路徑，擘劃未來智能體訓練和內容生產的新藍圖。

核心方法與技術創新

論文核心創新在於如何整合並協調多元資料集，包含：

• 圖像資料中豐富的物件與場景多樣性，提供視覺生成基底；
• 機器人操作資料中高密度採樣的動作序列，展現細膩的物理互動；
• 導航數據中的多變移動動作與環境配置，強化空間及行為模擬能力。

UniSim 利用先進的生成模型架構，學習在不同層級的指令下（從高層的「打開抽屜」到低層的連續控制訊號），從靜態情境生成對應的視覺結果。系統的設計理念強調「跨模態」、「跨場景」和「跨動作分布學習」，使得模擬器能透過一組普遍性的表徵，擬合真實世界中多樣複雜的互動過程。

此外，作者們提出了一種多重訓練策略，協同培養高階視覺-語言策略與低階強化學習控制策略，兩種策略均在純模擬環境完成訓練後，即能零次調整（zero-shot）直接部署於真實世界。這種「從模擬到現實」的平滑過渡，揭示出模擬模型的高度泛化能力與實用價值。

值得一提的是，該模擬平台不僅用於智能體控制，還能用於提升其他AI任務，比如利用模擬影片增強視頻字幕生成模型訓練，展現出模擬經驗在語義理解和多媒體分析領域的潛在應用。

主要實驗結果

團隊在多種資料集與任務上驗證了 UniSim 的能力與優勢：

• 視覺模擬：根據不同的指令模擬生成高品質且連貫的圖像序列，且能涵蓋大量不同物件狀態與互動變化，展示高度細膩的視覺還原能力。
• 機器人控制：利用模擬器訓練的強化學習策略，能夠實現多類型操作任務並直接遷移至真實機器人，展現零樣本調整下的強健性與實用性。
• 視覺-語言策略：高階的視覺與語言結合策略達到良好性能，能理解並響應複雜指令，成功在真實環境中運用。
• 視頻字幕增強：透過 UniSim 生成的影片數據進行輔助訓練，顯著提升影像描述模型的準確度與泛化度。

實驗並運用多樣性分析，證明不同資料集互補性的重要性，凸顯出多元數據協同學習是打造通用模擬器不可或缺的關鍵。

對 AI 領域的深遠影響

本論文開創性地提出並實證了以生成模型為基礎的真實世界互動模擬器之可行性，這將深刻影響AI技術的未來發展路徑：

1. 模擬驅動訓練革命：突破傳統物理引擎高成本製作障礙，減少真實環境實驗依賴，實現更快速與大規模的智能體訓練。
2. 普適性與靈活性：通過多源資料訓練的模擬器在應對多樣場景與任務時展現優越泛化能力，有望成為支持多行業智能互動的核心技術。
3. 人機交互與內容創造：結合視覺-語言策略，UniSim能促使更自然、可控且互動式的內容生成，對遊戲、虛擬現實（VR）、電影製作帶來突破性改變。
4. 視頻與多媒體AI的跨越：模擬經驗的運用推動視頻理解、描述等任務性能提升，拓展AI在新聞、監控、娛樂等媒體領域的應用潛力。

總結來說，《Learning Interactive Real-World Simulators》不僅展示了集結跨領域資料與生成模型優勢來重塑實體互動模擬的理論與技術框架，更憑藉循證實驗奠定了其應用的可能性。未來拓展此類模擬器將有助於加速智能體的研發與落地，促進智慧機器人與智慧系統的全面普及。

研究團隊所釋出的視頻示範，也具體展現了該技術在交互式視覺任務中的強大表現，感興趣的讀者可以透過論文提供的連結詳細了解技術細節與成果。

---

論文資訊
📄 Learning Interactive Real-World Simulators
👥 Yang, Du, Ghasemipour, Tompson, Kaelbling, Schuurmans, Abbeel
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.06114

Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations

隨著生成模型在圖像、音訊甚至文字領域的成功，擴散模型（Diffusion Models）成為當前生成任務中的主流架構，憑藉其穩定的訓練過程及生成品質，高度受到研究界與產業界的關注。然而，儘管擴散模型在實務上展現出強大的泛化能力，對其背後泛化機制的理論理解仍相當有限。本篇出自 Kadkhodaie 等人於 ICLR 2024 的獲獎論文《Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations》即針對此問題，提出一套全新角度的解析框架，不僅深化了我們對擴散模型內涵的理解，也有助於今後模型設計與理論研究的發展。

一、研究背景與動機

傳統生成模型如 GAN 與 VAE 雖然在生成樣本多樣性及真實感上有優異表現，但其訓練過程往往不穩定且容易陷入模式崩潰（mode collapse）。擴散模型則透過一個迭代的「去噪」過程，逐步從高斯噪聲回復出真實數據，讓生成品質和多樣性同時達成突破。更令人驚豔的是，擴散模型在龐大資料集甚至「零樣本」情境下，也展現了意想不到的泛化能力，能生成從未見過的樣本類型。這促使研究者探討：它們為什麼能這麼好地泛化？背後有哪些幾何或數學結構支撐此現象？

然而，過去相關理論多半聚焦於擴散過程中的隨機微分方程(SDE)建模或信號重建的概念，缺少對模型內在「表示空間」結構的深入剖析。尤其是，現有架構中的神經網絡如何利用原始數據所蘊含的幾何結構，從而驅動泛化，尚未有嚴謹的理論框架。作者鑑於此挑戰，借助調和分析（Harmonic Analysis）與幾何學工具，提出一種「幾何自適應調和表示(Geometry-Adaptive Harmonic Representations, GAHR)」，用以解釋擴散模型的泛化起源。

二、核心方法與創新

本論文核心創新點在於將擴散模型解讀為在幾何變換下的調和基底組合過程，搭建了一座連結「幾何特徵」與「訊號頻譜成分」的理論橋梁。具體而言，作者利用調和分析的觀點，認為擴散模型所學到的去噪函數實際上是一組基於資料流形（Data Manifold）內部幾何結構的調和基底適應而成。這些基底在不同局部區域根據該區域的幾何特徵進行調整，實現對不同數據分佈頻譜的自適應捕獲。

該幾何自適應調和表示的要義有幾個層面：

• 調和基底的幾何適配性：相較於傳統的傅立葉變換以固定波形函數為基底，GAHR基底能隨資料流形彎曲、伸展，動態調整頻譜的捕獲方式，因而更符合數據的內在統計結構。
• 頻譜選擇性與泛化能力：該模型強調透過調和基底對數據不同頻率成分的選擇與重建，從而達到抗乾擾且泛化良好的效果。擴散模型正是在這些幾何導向的頻譜子空間中學習去噪過程，避免對過度雜訊或數據擾動過於敏感。
• 數理證明與泛化誤差分析：論文為此表述建立了一套嚴謹的數學理論，利用譜方法推導了泛化誤差界，在不同幾何結構與頻譜條件下，展示了擴散模型泛化的量化度量。

方法上，作者透過將去噪過程映射至流形上的拉普拉斯-貝爾特拉米算子譜域，發現學習動態可視為在流形頻譜空間上的自適應調整，有效捕捉流形中的幾何變異；同時，提出一種新型正則化機制，抑制過多高頻成分，強化模型穩定性與普適性。

三、主要實驗結果

在實驗方面，論文展示了 GAHR 概念在多個標準擴散模型架構（如 DDPM 等）上的適用性及提升效果，包括合成圖像與語音資料集。具體實驗發現：

• 泛化性能驗證：GAHR 條件下訓練的模型在未見過分布下，能更好地復原與生成出符合數據幾何結構的樣本，泛化能力顯著超越一般離散頻譜或非幾何適配基底的設定。
• 頻譜聚焦效果：基於 GAHR 的模型在頻譜分析中顯示出明顯的低頻聚焦，並有效抑制噪音引起的高頻干擾，模型產生的樣本質量更高且更穩定。
• 模型穩定性：引入幾何自適應正則化後，模型訓練過程更為平滑且對超參數敏感度降低，代表此方法有助於提升擴散模型的可用性與泛用性。

此外，作者還進行了對比實驗，評估傳統固定基底與 GAHR 基底在特定影像合成任務中的差異，結論是幾何自適應基底能更好地處理流形複雜度高的資料集，如含有多結構、多尺度紋理的影像。

四、對 AI 領域的深遠影響

本篇論文的理論建構與實證分析，首次從調和分析與流形學的角度系統性闡述了擴散模型泛化的本質機理。此突破不僅豐富了生成模型的理論基底，也為後續生成模型設計開拓出新的方向，從純粹的架構優化轉向更注重內在幾何結構的挖掘及利用。

具體來說，幾何自適應調和表示的提出，有以下幾點重要意義：

• 理論指導實務：未來擴散模型的設計可基於資料幾何特徵打造專屬頻譜基底，有望進一步提升生成品質與泛化能力，同時降低訓練成本與不穩定風險。
• 跨領域融合：該研究將數學領域的調和分析與幾何學，與深度生成模型緊密結合，促使 AI 研究向更多元的理論基礎靠攏。
• 理解模型泛化的橋梁：泛化問題一向是機器學習中最核心的挑戰之一，這項工作成功構建了泛化性能的結構性解釋，有助於日後對其他生成模型與無監督學習機制的理解與革新。
• 推動生成模型多樣化發展：調和表示能針對不同應用場景與資料流形特徵自適應調整，契合 AI 多樣化需求，從醫學影像到藝術創作，都有潛力發揮更優效果。

總結來說，Kadkhodaie 等人提出的「幾何自適應調和表示」理論不僅深化了擴散模型底層機制的理解，還為未來生成模型的設計與優化指明了明確方向。隨著生成 AI 持續在產業與學術領域發展，這份研究提供了一把關鍵鑰匙，助力我們更加精準且公平地掌握生成系統的潛力與限制。

---

論文資訊
📄 Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations
👥 Kadkhodaie, Guth, Simoncelli, Mallat
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.02557

Rethinking the Expressive Power of GNNs via Graph Biconnectivity

近年來，圖神經網路（Graph Neural Networks, GNNs）因其在社交網路分析、分子結構預測、交通路網等多種場景中優秀的圖結構學習能力，成為機器學習與深度學習研究的重要方向。然而，如何衡量與提升 GNN 的表示能力（expressive power）一直是核心且具挑戰性的問題。傳統上大多數研究著眼於 GNN 能否區分不同圖結構，常用的理論基準為 Weisfeiler-Lehman（WL）同構測試，特別是 1-WL 的表示力被視為衡量 GNN 識別能力的關鍵標準。

本論文《Rethinking the Expressive Power of GNNs via Graph Biconnectivity》，由 Zhang 等人發表於 ICLR 2023 並獲得卓越論文獎，帶來了一個突破性的觀點：單憑提升 WL 測試能力，並不足以全面理解與衡量 GNN 的表達力；應該從圖的「雙連通性」（biconnectivity）來重新思考 GNN 的表達能力及其理論基礎。

研究背景與動機

WL 測試是目前主流用於判定 GNN 是否能區分非同構圖的理論工具。雖然提升 WL 測試的等級（如 k-WL）或改進消息傳遞機制能提高 GNN 表達力，但這些方法往往計算複雜度高，且在理論上存在表達盲點。此外，WL 測試主要側重於節點鄰域的結構相似性判斷，未必能涵蓋圖結構更深層的連通性與拓撲特性。

雙連通性是圖論中極具代表性的結構特性，描述了一個圖中的節點對其連通性的影響。具體來說，雙連通子圖是刪除任意一個節點後仍保持連通的部分。這種特性對於分子結構、社會網路中關鍵節點或橋樑節點的分析非常重要。由於雙連通性計算可用簡單且線性時間的算法實現，若 GNN 能有效捕捉該特性，將能提升其理論及應用的表示力。然而，現有大多數 GNN 架構是否能捕捉雙連通性，在文獻中並未明確揭示。

核心方法與創新

作者首創性地提出一組基於圖雙連通性的表達力指標，用以衡量 GNN 能否理解及辨識圖中的雙連通結構。透過理論證明和嚴謹的圖論分析，他們指出大多數經典 GNN 架構，包括基於 1-WL 和其變體，在這些雙連通性指標上表達力不足，無法區分一些具有不同雙連通結構但 WL 無法判別的圖對。

論文特別討論了ESAN（Expressive Subgraph Aggregation Network），這是一個早期嘗試提升 GNN 表示力的框架。作者給出理論證明說明 ESAN 透過子圖聚合，實際上能夠捕捉雙連通性，是少數能在這一新指標上具備表達力的架構。

為了克服現有方法的限制，作者進一步提出了一個全新方法 —— Generalized Distance Weisfeiler-Lehman (GD-WL)，這是一種結合距離信息與 WL 同構測試思想的算法。GD-WL 在理論層面被證明對所有雙連通性指標均具備表達能力，大幅超越傳統 GNN 的區辨能力。

在架構實現層面，GD-WL 可以透過 Transformer 類型的神經網路實現，藉由並行計算所有節點對的距離信息，維持了高效率與擴展性。此外，這樣的架構設計使得表達力不因批次大小或並行處理而降低，從而兼具理論與實務的優勢。

主要實驗結果

作者在多組合成數據集及實際圖資料集（例如社會網路、分子圖結構）上評估了 GD-WL 架構與多種基準 GNN（包含 GCN、GAT、GIN 及 ESAN 等）。

• 區分能力實驗：在設計的雙連通性區分任務中，GD-WL 精準辨識圖中細微的雙連通差異，顯著優於其他可比較模型，證實理論中的表達力提升。
• 圖分類任務：在多個公開數據集上，GD-WL 不僅在準確率方面取得最優表現，且收斂速度快，證明其架構在實際應用中的有效性與穩定性。
• 效率與可擴展性：實驗展示 GD-WL 利用 Transformer 架構可高效執行，且隨圖規模擴大亦能保持良好性能，充分滿足大型圖數據的需求。

對 AI 領域的深遠影響

本論文從圖論基本性質 —— 雙連通性，切入 GNN 表達力的全新視角，對學術界及產業界理解圖神經網路的能力提供了重要啟示。過去 GNN 的表達力多以 WL 測試為核心，本研究突破此框架，展現了 WL 無法覆蓋的圖結構判定盲點，提出了更全面的理論度量標準。

此外，提出的 GD-WL 框架不僅理論嚴謹，且可透過 Transformer 等高效架構實現，為未來 GNN 設計開啟了新的路徑，特別是在強調拓撲綜合與結構細節的問題中具有廣泛應用潛力，如化學分子設計、網路安全、知識圖譜推理等。

總結來說，這篇論文向業界與學界提醒，要發展下一代強表達力的 GNN，不該僅停留在 WL 測試的提升，更需重視圖的深層結構特性如雙連通性，並結合可擴展、高效的神經網路實作方式。這對 GNN 理論基礎的厚實與實務應用落地都具里程碑意義，必將推動圖機器學習領域進一步蓬勃發展。

---

論文資訊
📄 Rethinking the Expressive Power of GNNs via Graph Biconnectivity
👥 Zhang, Gai, Wang, Zhang, Li, Ma
🏆 ICLR 2023 · Outstanding Paper
🔗 arxiv.org/abs/2301.09505

Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching

隨著深度學習技術的迅速發展，影像領域中密集預測（Dense Prediction）任務，如語義分割、物體偵測及關鍵點估計等，已成為計算機視覺的重要研究方向。這些任務通常需要大量標註資料來訓練精確模型，然而，真實世界中標註成本極高且數據稀缺的場景普遍存在，促使學術界與產業界對少量樣本學習（Few-shot Learning）方法的重視。Kim 等人在 ICLR 2023 發表的論文《Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching》榮獲傑出論文獎，提出了一種具備普適性的少樣本密集預測學習框架，透過視覺標記匹配機制，有效解決多種密集預測任務中少標註樣本下的泛化問題。

研究背景與動機

傳統深度學習模型雖然表現優異，但極度依賴大量且精細的標註數據，限制了技術在資源有限的應用場景中的推廣。尤其在密集預測任務中，標註一張影像的語義分割帶有像素級標註，工作量往往龐大且耗時，導致少樣本甚至零樣本的學習需求日益提升。過去的少樣本學習研究主要集中在分類任務，對於密集預測任務則相對較少。此外，不同密集預測任務的標註形式多變，缺乏一套能普適應用於多種任務的少樣本學習方法。

基於此，作者們提出了結合視覺標記匹配（Visual Token Matching）的通用少樣本學習架構，希望盡可能減少對任務特定設計與標註數量的依賴，並且適用於包括語義分割、實例分割與關鍵點偵測在內的多樣密集預測任務。此舉為少樣本學習開闢新思維，也極大地促進跨任務的知識遷移與共享。

核心方法與創新細節

本論文的核心貢獻在於設計了一種基於「視覺標記匹配」的普適少樣本學習框架，核心構想是將影像切分為固定數量的視覺標記（visual tokens），並透過學習一種在token空間內的匹配函數，以實現小樣本條件下的像素級標註擴散與推斷。這種方法與過去基於原始像素或長跨度特徵映射的方法不同，主要創新點包括：

• 視覺標記表示：作者利用預訓練的Transformer架構，將輸入影像映射成一組離散且有語義豐富的視覺標記，降低了像素空間的複雜度，亦增強了對物體形狀和局部結構的理解。
• 視覺標記匹配機制：模型設計了一種匹配機制，能夠在少量帶標註的支援樣本（support set）與未見的查詢樣本（query set）之間，尋找最佳的視覺標記對應。這使得標註信息可以在兩者間透過token匹配進行有效傳遞，提升標註推斷的精度。
• 多任務通用性：框架不依賴特定任務頭（task-specific heads）或者任務專屬的特徵表示，而是採用統一的視覺標記形式和通用匹配策略，使得同一模型既能應對語義分割，也能處理實例分割與關鍵點估計任務。
• 端到端訓練與少樣本泛化：透過端到端的訓練流程，本方法可在大規模資料集上預訓練，接著在少量樣本上微調，顯著增強模型的少樣本泛化能力，克服了過去方法在標註稀缺情況下性能下降的問題。

整體而言，作者提出的視覺標記匹配策略不僅是技術上的創新，更在設計理念上實現了一種範式轉換：將複雜的像素級密集任務轉化為結構化且普適的視覺符號匹配問題。

主要實驗結果

為評估提出方法的有效性，作者在多個密集預測任務上進行廣泛實驗，包括語義分割（PASCAL-5i、COCO-20i）、實例分割及人體關鍵點偵測等常見基準數據集。主要結果如下：

• 優異的少樣本表現：在語義分割少樣本設定下，模型顯著超越現有先進方法，在5-shot和1-shot場景均表現出更高的mIoU（平均交並比），顯示出出色的標註利用效率。
• 跨任務泛用性驗證：同一模型架構在語義分割、實例分割與關鍵點估計三大任務中，均達到或超越了對應專屬框架的表現，驗證了視覺標記匹配的普適性。
• 標註擴散效果良好：視覺標記匹配的機制使得少量支援樣本的標註信息能被有效擴散到查詢影像的相似區域，成功解決少樣本下的標註稀疏與偏差問題。
• 消融實驗明確創新貢獻：消融研究展現，視覺標記匹配策略與Transformer基礎的視覺token表示對提升少樣本性能均不可或缺，二者協同作用顯著超越簡單特徵搭配方案。

對 AI 領域的深遠影響

此篇論文的創新意義及技術突破對計算機視覺與少樣本學習領域皆帶來革命性啟發。首先，透過「視覺標記匹配」的策略，作者成功解決了少樣本密集預測的核心挑戰，即如何從有限的標註中有效推廣標籤信息，不再局限於任務特定設計，推動了跨任務、跨資料集的通用少樣本學習實現。

其次，結合Transformer的強大表徵能力與symbol-like視覺token，開發出一套可結合語義理解與局部結構感知的高效表示機制，為深度模型在稀疏標註下的穩健性與泛化能力提供新思路，未來將可能廣泛應用於增強現實（AR）、自動駕駛及醫學影像診斷等對標註需求高且標註困難的領域。

此外，論文所提出的統一架構及訓練范式，降低了專案開發中因任務多樣帶來的重複建模成本，有助於加速AI產品化過程，促進企業及研發機構釋放資源並專注於模型性能與使用者體驗優化。

總結來說，Kim 等人提出的 Universal Few-shot Learning with Visual Token Matching 不僅為少樣本密集預測提供了理論與實務層面的重大突破，也引領視覺任務學習方法向著更通用、更高效及智能化的方向邁進。對未來AI系統在多任務、多域環境下的彈性適應能力與自我學習能力奠定了堅實基礎，無疑將成為推動視覺智能新時代的里程碑之作。

---

論文資訊
📄 Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching
👥 Kim, Kim, Cho, Luo, Hong
🏆 ICLR 2023 · Outstanding Paper
🔗 arxiv.org/abs/2303.14969