Learning Dynamics of LLM Finetuning

大型語言模型（Large Language Models，LLM）的微調（finetuning）在推動自然語言處理應用發展中扮演關鍵角色。隨著微調技術的日益普及，理解微調過程中模型行為的演變動態，成為解釋並優化模型性能的核心課題。Ren 與 Sutherland 在 2025 年 ICLR 發表的《Learning Dynamics of LLM Finetuning》一文，獲得年度傑出論文獎，提出了一套全新的視角與方法，用以深入剖析 LLM 微調期間模型行為的「學習動態」（learning dynamics），其分析框架不僅揭示許多過去難以解釋的現象，還帶來實務面對模型微調與對齊（alignment）策略的新啟示。

研究背景與動機

大型語言模型微調以提升特定任務表現或符合使用者偏好為目的，包含指令微調（instruction tuning）、偏好微調（preference tuning）等多樣技術路徑。儘管實務上微調已被廣泛採用，研究界對於微調過程中模型如何逐步吸收、匯聚甚至扭曲訓練訊息，缺乏系統性的理解。特別是在微調後，模型生成的「幻覺」（hallucination）現象頻見，模型偶爾會將某問題的答案片段誤用於別的問題，或是反覆使用簡單語句，這些問題嚴重影響模型的可靠度和應用價值。此外，直接偏好優化（Direct Preference Optimization, DPO）在不同訓練階段的行為變化也缺乏明確解析，如離策略（off-policy）的 DPO 過度訓練反而降低想要輸出的機率等怪異行為。

基於此，作者提出以學習動態作為核心，分析微調過程中各訓練示例對模型行為的影響路徑與積累機制，希望用一套統一的數學框架，看看這些微調現象能否被同時解釋與預測，進而促使優化策略的提升。

核心方法與創新

論文以分解式的觀點切入，定義並量化「學習動態」：即訓練過程中，模型對不同答案響應（responses）間的影響如何隨時間步（steps）逐步累積。相較以往多聚焦最終微調結果，研究更注重過程中每一步如何影響其他回答選項的機率分布，實現一種「步驟級」的影響追蹤。

作者設計了一套數學框架，將模型參數更新、輸出概率變化和訓練資料間的交互連結起來，揭示兩類微調常見現象：

• 幻覺強化機制：當模型微調後，某些問題的答案部分成分竟然被誤用於回答其他問題。透過學習動態分解，研究發現模型在微調時部分回答語料過度疊加影響，導致知識片段在不同語境間不當共享，引發幻覺。此外，模型在生成時，因部分簡單短語反覆「累積影響力」，造成回答中重複同類語句的現象。
• 離策略 DPO 的壓縮效應：在離策略直接偏好優化中，進行過多訓練步驟反而導致想要的輸出機率衰退。作者將此現象稱為「擠壓效應（squeezing effect）」，指出過度優化會讓模型聚焦於過度強化的一小組響應，壓縮了其他正向輸出的概率空間。

另外，該框架也分析了在策略微調（on-policy DPO）與其它變種中，模型較易維持或增強目標行為的原因，為現有微調方法的設計提供理論依據。

主要實驗結果

透過對多種類型大型語言模型（例如基於 Transformer 架構的 GPT 或類似模型）的微調實驗，作者以步驟級影響矩陣分析，每個訓練樣本對特定回答的概率變化作定量測量，成功復現並解釋了多項先前文獻報告的微調現象：

• 在指令微調設定中，模型呈現指令語料間交叉影響，符合「幻覺強化」假說。
• 評估離策略 DPO 微調長期效應，明確觀察到「擠壓效應」—經過一定步數後模型傾向選擇更狹窄回應範圍。
• 在對比實驗中，利用提出的理解原理，作者設計了簡單的微調調控策略，限制影響力過度累積，提高了微調後模型的回應多元性與對齊品質。

這些驗證不僅支持理論模型的正確性，也展示其在設計更安全且高效微調流程上的應用價值。

對 AI 領域的深遠影響

本論文對大型語言模型微調研究提供了劃時代的貢獻。以往微調研究多偏重結果導向，而《Learning Dynamics of LLM Finetuning》則從「動態演變」的微觀角度切入，首次系統性的揭示了訓練資料間的影響路徑和積累機制，為未來微調行為的可解釋性研究奠定關鍵基礎。

此框架促使業界與學術界重新思考幻覺產生的內在機制，揭示這並非純粹資料不足或模型容量問題，而是微調過程中影響力分布失衡的結果。未來調控微調影響力的策略有望大幅降低幻覺率，提高生成文本的可靠性，對安全技術與使用者信任均有深遠助益。

此外，對偏好微調領域的理論貢獻尤為重要。文章中提出的「擠壓效應」為理解 DPO 類算法的訓練曲線異常現象提供了理論支撐，也暗示了微調過程的早停技巧與策略微調設計的必要性，促進該類優化手段在工業應用中的更穩健部署。

最後，本研究啟發了更廣泛的機器學習理論分析方向，隨著模型規模日益龐大且微調應用場景多元，學習動態的探索將有助於開發出能更精準反映訓練與推理交互的數學工具，進而提升理解、預測及控制模型行為的能力。

綜合來說，《Learning Dynamics of LLM Finetuning》不僅為理解大型語言模型在微調過程中複雜且微妙的行為變化提供了嶄新的視角，也推動了模型對齊與安全研究的理論基礎與實務方法革新。對未來 AI 技術的安全可靠發展，具有無可估量的積極意義。

---

論文資訊
📄 Learning Dynamics of LLM Finetuning
👥 Ren, Sutherland
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2407.10490

Safety Alignment Should Be Made More Than Just a Few Tokens Deep

隨著大型語言模型（Large Language Models, LLMs）日益成為自然語言處理領域的核心技術，其安全性和對齊（alignment）問題也愈發受到關注。所謂安全對齊，指的是如何讓模型在生成文字時避免產生有害、偏見、錯誤或不當的內容。然而，現行的對齊方法面臨諸多挑戰，尤其在實際應用中，透過簡單的攻擊手法甚至正常的微調過程，模型就可能被「越獄（jailbreak）」，產生不符合安全期望的回答。2025 年 ICLR 榮獲 Outstanding Paper 的論文《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》由 Qi 等人提出一個新穎而深刻的見解和方法，對當前 LLM 安全對齊的問題提供了關鍵突破。

研究背景與動機

過去的安全對齊技術，例如使用人類反饋強化學習（RLHF）或特定的正則化策略，主要致力於調整模型生成過程的早期輸出。這在不少情境下看似有效，模型會在最初數個生成的 token 上反映出安全策略。但這種「表層」對齊實際上很脆弱。作者指出，安全對齊其實往往只是「淺表面（shallow）」地改變了模型的生成分布，也就是說，模型真的被調整的只有一開始幾個輸出 token，隨後的文字生成並沒有持續進行嚴格的安全約束。

這種淺層對齊的問題，讓模型很容易受到多種攻擊手段利用，包括「對手尾碼攻擊（adversarial suffix attacks）」、「預填充攻擊（prefilling attacks）」、「解碼參數攻擊」以及微調過程中的安全策略繞過等。簡單來說，攻擊方可以透過特定的輸入設計，刻意繞開模型在前幾個 token 上的約束，誘使模型產出不安全的內容。

核心方法與創新

本論文的核心創新在於提出並系統化「淺層安全對齊」這個概念，並將其視為造成目前 LLM 安全漏洞的根本原因。作者詳細分析並驗證了當前主流對齊模型，大多數安全信號都侷限於生成的起始幾個 token，層層溢散以致整體安全策略無法完整施展。

基於此洞見，研究團隊提出一個令人耳目一新的想法：將安全對齊的影響深度提升，不僅僅約束模型輸出的第一批 token，而是擴展整體生成過程中更深層的序列生成階段。這涉及創建一套正則化微調目標（regularized finetuning objective），通過在更新參數時對初始幾個 token 的生成策略施加更嚴密的限制，讓安全規則「深入」到整個生成過程中。

此外，研究團隊藉由多個實驗案例證明：這種深度對齊方法能顯著提升模型在面對多種攻擊時的抵禦能力。特別是在數據微調攻擊和解碼參數操控等複雜情境中，更深層的對齊讓模型更穩健且不易被騙過。

主要實驗結果

論文中包含一系列嚴謹設計的實驗，探索淺層對齊問題的嚴重性及其對應解決方案的有效性。以下為重點結果：

• 淺層對齊存在性證明：透過分析主流的 RLHF 對齊模型，發現大部分安全限制都集中於生成的最初 3-5 個 token，後續輸出缺乏安全保護。
• 對手攻擊實驗：展示多種現有對手技巧如何利用淺層對齊弱點，成功繞過模型安全限制，誘導出有害或不當內容。
• 深度對齊強化效果：引入正則化微調目標後，提升安全對齊深度，顯著減少了模型被攻擊利用的機率，且在多種攻擊類型中取得穩定優越表現。
• 泛化能力驗證：該方法不僅對抗特定測試中的攻擊手法有效，也有助於提高模型在新型態攻擊下的韌性。

對 AI 領域的深遠影響

這篇論文提出的「安全對齊深度」觀點，對整個 AI 及自然語言生成領域具有重要的啟發和影響。它讓我們重新審視以往的安全策略，警示僅在少部分 token 上強制安全產生的策略是遠遠不夠的，必須將安全思想貫穿整體生成過程。

除此之外，淺層對齊問題的發現有助於統一理解各種針對 LLM 的攻擊類型，解釋為何面對攻擊時多數模型無法抵抗。這種統整對研究者提供了全新方向，強調未來安全對齊技術應著重於「深度」的安全保障，而非表面修修補補。

此外，該論文提出的正則化微調策略，為未來建構更堅實、更持續有效的安全對齊框架提供了基礎。隨著 LLM 在工業界、醫療、法律等高風險領域的廣泛應用，深度安全對齊方法將成為關鍵技術，使得模型行為更可控且值得信賴。

最後，這項工作也影響了後續安全對齊的評估標準，促使社群開發出更多針對生成全序列強韌性的測試和防禦方法。整體而言，這篇論文不僅揭露了 LLM 對齊機制的一個基本缺陷，也提出了可行的解決方案，是推動 AI 安全向前邁進關鍵的里程碑。

總結來說，《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》一文指出，目前 LLM 的安全對齊過程在深度上過於淺薄，容易導致模型被攻擊或繞過約束，並通過引入更深度的安全約束策略，有效提升了模型抵抗各種攻擊的能力。這不僅改變了我們對安全對齊的認知，更為未來打造高度可信賴的語言模型指明了研究方向，對 AI 領域安全保障研究具有深遠且實用的影響。

---

論文資訊
📄 Safety Alignment Should Be Made More Than Just a Few Tokens Deep
👥 Qi, Panda, Lyu, Ma, Roy, Beirami, Mittal, Henderson
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2406.05946

KAN: Kolmogorov-Arnold Networks — 重塑神經網路結構的創新範式

隨著深度學習的廣泛普及，傳統多層感知機（MLP）作為最基礎的神經網路架構之一，仍然是各種複雜模型的核心組件。然而，MLP長期以來依賴固定形式的激活函數及線性權重參數，這在一定程度上限制了模型靈活性與可解釋性。2024年ICLR傑出論文《KAN: Kolmogorov-Arnold Networks》由Liu等人提出了一種根植於數學經典定理──Kolmogorov-Arnold表示定理的新型神經網路架構，顛覆了傳統MLP的設計理念，不僅在理論上拓展神經網路的表達能力，也在實務應用中呈現卓越性能，展現深遠的研究與應用潛力。

研究背景與動機

Kolmogorov-Arnold表示定理（以下簡稱KA定理）指出，任何多元連續函數皆可用有限組合的單變量函數與加法組合來精確表示。該定理的結果在數學函數逼近領域具有極大啟發性，然而深度學習領域的神經網路卻長期依賴多維輸入與線性權重的結合來實現函數逼近。傳統MLP內部的激活函數固定不可學習，且權重以純量形式存在，這導致兩大問題：其一是網路參數多且冗餘，模型訓練需要大量資源；其二是在模型解釋性方面存在缺陷，使用者難以直觀理解網路何以做出判斷。

本論文之所以提出KAN（Kolmogorov-Arnold Networks），即是希望利用KA定理的思想，轉化「權重」角色，由原本的「單點線性係數」轉變為「可學習的一維函數」，徹底顛覆傳統神經網路架構中“權重”的定義，提升模型的精準度與可解釋性。

核心方法與創新

KAN的關鍵創新在於將神經網路中的「邊權重」完全替換為可學習的單變量函數。與既有MLP中「節點」帶固定激活函數且邊權重為純量不同，KAN架構將每條連接的權重視為一個參數化的一維函數，該函數採用分段三次樣條（spline）進行逼近，並在訓練過程中直接優化這些函數的形狀。

• 權重函數化：每條邊的權重不再是一個純量，而是一個單變量函數w(x)，其中變量x即為該邊對應的輸入節點輸出。此設計讓網路可以針對不同輸入值自適應調整「權重」，極大提升了表達自由度。
• 無線性權重參數：KAN徹底取消了線性權重矩陣，網路參數全部由這些樣條函數的控制點所組成。如此一來，網路不僅更貼合KA定理的函數分解架構，且理論上可細緻地捕捉輸入與輸出之間的高度複雜非線性關係。
• 易於視覺化與解讀：由於每條邊以函數形式存在，用戶可直接觀察這些函數曲線形狀，幫助理解網路如何透過局部非線性映射調整權重，從而提高模型的可解釋度及與專家互動的直觀性。

主要實驗結果

作者透過多組實驗驗證KAN的優越性，特別在精度、擴展性與可解釋性方面有顯著突破。

1. 資料擬合與偏微分方程求解：在典型資料擬合任務中，較小規模的KAN比起多倍於其參數數量的MLP依然可展現同等或更優的預測精度。尤其在利用深度學習求解偏微分方程（PDE）方面，KAN因其靈活控制權重函數形態，能更精準捕捉問題本質的非線性變化，表現優於傳統MLP網路，且收斂速度更快。
2. 神經尺度定律（Neural scaling laws）：理論及實證數據皆指向，KAN展現出比MLP更佳的神經尺度效率。也就是說，隨著模型規模與訓練資料量增加，KAN的性能提升趨勢更顯突出，訓練成本效益更高。
3. 可視化解釋及科學發現輔助：作者展示了兩個具挑戰性的科學案例：數學函數公式重構與物理定律尋找。KAN的權重函數可視化功能，促使它成為科學家強而有力的「合作夥伴」，助力研究者重新發現或驗證數學與物理中的潛在規律。

對 AI 領域的深遠影響

KAN將傳統神經網路重塑為以函數為單位的靈活架構，具有多方面革命性意義：

• 重新定義神經網路參數空間：透過函數化權重的架構設計，不再局限於純量權重矩陣，這為深度學習模型提供了理論上更豐富的函數表示能力，開拓新的結構設計空間。
• 提升模型可解釋性和人機互動:傳統MLP是黑盒式結構，而KAN在可視化及調整權重函數的能力使模型更「透明」，符合當代理解與可信AI的需求，有助於專家與系統間的直觀溝通與協作。
• 縮小模型規模，降低訓練成本：KAN相較多層且參數巨大的MLP，能以更小規模達成精確的函數擬合目標，尤其在科研領域求解複雜問題時大幅降低計算負擔。
• 結合經典數學理論引領神經網路設計：KAN體現了數學嚴謹和深度學習創新融合的典範，打開利用更多數學工具重新設計神經架構的可能性，推動AI研究向更扎實及理論把握的方向發展。

總結而言，《KAN: Kolmogorov-Arnold Networks》論文通過巧妙借鑑KA表示定理，提出了一種嶄新的神經網路範式——使得邊權重不再是固定的純量，而是靈活可調的函數，創新結合數學理論和深度學習實踐。KAN不僅在模型效能、數據擬合、科學發現輔助等方面卓有成效，也為未來神經網路架構設計指明新方向，極具前瞻性與廣泛應用價值，是深度學習架構研究的一大里程碑。

---

論文資訊
📄 KAN: Kolmogorov-Arnold Networks
👥 Liu, Wang, Vaidya, Ruehle, Halverson, Soljačić, Hou, Tegmark
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2404.19756

Mamba: Linear-Time Sequence Modeling with Selective State Spaces — ICLR 2024 傑出論文深度解析

隨著深度學習的發展，Transformer 架構因其卓越的序列建模能力，已成為多數基礎模型（foundation models）不可或缺的核心。其中的注意力機制（attention）特別擅長捕捉長距離依賴關係，推動自然語言處理、語音辨識及基因序列分析等領域取得顯著成果。然而，Transformer 的計算成本隨序列長度呈二次方增長，成為實際應用長序列處理的瓶頸。為了解決這一挑戰，學界嘗試開發線性時間複雜度的模型，例如線性注意力（linear attention）、門控卷積（gated convolution）、遞迴模型以及結構化狀態空間模型（Structured State Space Models, SSMs），但這些替代架構在關鍵的離散模態（如自然語言）上，性能尚無法匹敵 Transformer。

研究背景與動機

Transformer 雖然在各種序列建模任務中表现卓越，但其平方時間複雜度限制了序列長度的擴展，特別是在需要處理數百萬級長度序列的情境下（例如長篇語言文本、全基因組分析）。過去嘗試的替代方案多數在速度上有所改進，但在保留內容感知（content-based reasoning）能力方面存在不足，無法有效利用序列中的關鍵訊息來調節記憶和遺忘機制。這直接影響模型對於離散且高語義複雜訊號（如文字）的處理能力，使實際應用受限。

本論文由 Gu Dao 等人發表於 ICLR 2024，針對此關鍵問題提出創新解決方案，設計出一種名為 Mamba 的線性時間序列模型。其命名來自於其高效且靈敏如蛇的狀態空間機制，能夠選擇性地更新狀態（selective state spaces），兼具高效運算與強大內容推理能力，並且在多種模態均展現出優於 Transformer 的效能。

核心方法與創新

Mamba 核心創新在於引入輸入感知的狀態空間參數，讓 SSM 能動態隨著當前序列元素調整其內部狀態更新機制。具體來說，傳統 SSM 固定參數導致模型在處理離散模態時缺乏彈性，無法根據內容調整信息保留或遺忘的力度。Mamba 則將狀態空間的轉移矩陣及輸入映射等關鍵參數建模成輸入的函數，使模型能夠依序列中不同位置的 token 選擇性地推進或遺忘資訊，強化內容關聯性理解。

然而，這種動態參數化的設計帶來無法使用傳統快速捲積演算法的挑戰，因為參數不再靜態且一維卷積無法高效展開。為此，作者創新設計了一種「硬體感知的平行演算法」於遞迴模式中運行，克服了運算瓶頸，確保模型推理時仍保持高吞吐量與線性複雜度。此作法結合理論與工程實作，是 Mamba 能在極長序列下仍維持高效的關鍵。

在網絡架構方面，Mamba 奇特地放棄了 Transformer 中標配的注意力層與多層感知機（MLP）模塊，取而代之的是純粹的 Selective SSM 組合，形成一個簡潔且一致的端對端架構。此架構透過細緻的狀態空間動態調節，取得與甚至超越 Transformer 相當的表現，且更加省資源與快速。

主要實驗結果

透過在多模態序列數據集上的全面性評估，Mamba 展現了令人矚目的性能：

• 語言建模：在語言模型預訓練與下游評估中，Mamba-3B 模型不僅勝過同尺寸 Transformer，甚至能與 2 倍參數量的 Transformer 模型匹敵。其快速且內容敏感的狀態更新策略，使模型在億級長度序列上的學習表現仍維持強勁，解決了長序列訓練長期以來的困境。
• 音頻與基因組序列：Mamba 不僅限於語言，亦在語音辨識與基因序列分析中續創新高，表明其通用序列建模能力穩健且強大。
• 運行效率：在推理速度上，Mamba 的吞吐量比傳統 Transformer 快 5 倍以上，並因其線性時間複雜度隨序列長度擴展，可無痛應對百萬級序列，展現未來大規模序列應用的可行性。

對 AI 領域的深遠影響

Mamba 的提出不僅是效率提升的革命，更標誌著序列模型架構設計理念的重大突破。其強調選擇性狀態更新的能力，重新定義了在序列長度與內容複雜度激增時的平衡策略，讓模型不再只是盲目地全域計算注意力，而是透過動態參數調控精準記憶與遺忘，實現更靈活且有效的長距離依賴建模。

從實務角度來看，Mamba 為極長序列資源密集型領域（如自然語言長文本理解、全基因組序列分析、時間序列預測等）提供一條兼顧效能與速度的理想解決方案，有望引領下世代基礎模型的架構發展。隨著模型規模與數據規模逐步擴大，Mamba 所展現的硬體感知優化策略與動態狀態建模理念，也將成為跨領域研究者設計高效深度學習架構的重要參考。

最後，Mamba 激勵研究社群重新審視傳統 SSM 及替代 Transformer 方法的潛力，並推動更多關於 內容感知與線性時間建模 的探索，開拓未來 AI 模型在大數據與複雜序列領域的應用疆界。

總結而言，Mamba 以破壞性的 selective state space 機制和硬體彈性算法，斬獲 ICLR 2024 傑出論文獎，不僅解決長序列模型的實際痛點，也為 AI 序列建模社群開啟了全新視野和技術路徑。

---

論文資訊
📄 Mamba: Linear-Time Sequence Modeling with Selective State Spaces
👥 Gu, Dao
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2312.00752

Learning Interactive Real-World Simulators

隨著生成模型（Generative Models）在文字、影像及影片內容創作上的顛覆性發展，下一個重要里程碑便是讓生成模型能夠模擬人類、機器人以及各種互動代理人於真實世界中執行行動後所產生的逼真體驗。這不僅能推動遊戲、電影等娛樂產業中可控內容創作的范疇，還能突破現有機器人訓練框架，實現透過純模擬環境訓練直接應用於現實世界的智能代理人。本篇於 ICLR 2024 獲得傑出論文獎的傑出作品「Learning Interactive Real-World Simulators」由 Yang 等人提出，便正是從這樣的背景出發，試圖打造一套通用的實世界互動模擬器（UniSim），藉由生成式建模整合多樣的自然數據，實現多維度且可控的環境交互模擬。

研究背景與動機

過去幾年，生成模型無論是在語言（如 GPT 系列）、視覺（如 DALL·E、Stable Diffusion）或影像合成領域皆帶來革命性進展，但這些模型多著重於靜態或線性內容的生成。真正意義上的「交互式模擬」尚未成熟，尤其是在模擬如何在實時回應使用者或代理人指令、動作的環境變化。傳統的模擬器多半針對特定場景或任務設計，且往往需要大量人為建模與細部調校，難以因應真實世界的多變複雜性。另一方面，互聯網與現代感測器產生了海量涵蓋視覺、行為及交互的異質數據，例如豐富的物體影像資料、機器人辨識的動作序列、導航過程中記錄的多種運動模式等。作者注意到，儘管這些資料分散且缺乏一致的結構，但透過巧妙整合彼此補足，可以培養出一個可同時理解「高層指令」（例如「打開抽屜」）及「低層控制」的通用模擬器。

核心方法與創新

論文提出的 UniSim 框架核心是透過生成式模型融合異質且多維度的數據源，成功建構一個端對端的互動式模擬器。具體而言，作者首先對不同數據集中各自涵蓋的互動層面做深入分析，例如：圖像資料強調豐富物體細節和靜態場景、機器人數據體現連續精細的動作輸入與回饋、導航數據提供多樣路徑規劃與運動模式。接著，他們設計了一套架構，可將這些不同維度的資訊同步編碼與生成，產出可隨行動指令動態變化的視覺結果，從而模擬「因果交互」（action-result）的真實世界場景。

此外，UniSim 不僅支援從高層語義指令到低層數值控制訊號的多層級輸入，還透過對多源數據的「協同訓練」（orchestration），使模型學會「跨場景、跨任務」的泛化互動能力。這點是過去多數模擬器無法達成的突破。該系統具備生成環境狀態更新、物理行為模擬及語義行動解讀等綜合能力，能在純視覺輸入基礎上模擬出細緻的事件變化過程。

主要實驗結果

作者針對模型進行多維度評估，證明 UniSim 的強韌性與廣泛適用性。首先，在控制策略訓練實驗中，他們使用 UniSim 訓練高層的視覺語言政策（vision-language policies）及低層的強化學習政策（reinforcement learning policies），且在純模擬環境中完成訓練後，這些策略能夠實現「零次調整」（zero-shot）直接部署於真實世界，展現出極優的遷移能力與實用性。

同時，作者也以視頻字幕生成（video captioning）等智能任務驗證模擬經驗對其他下游任務的助益，發現在模擬環境中額外訓練能顯著提升感知模型對動態事件理解的表現。這種跨任務的學習潛力顯著拓展了模擬器的應用範疇，不再侷限於控制與導航，而是涵蓋更廣泛的視覺與語言智能。

實驗中提供的多個影片示範更具象化了 UniSim 的互動性與精細度，例如從靜態場景透過指令動態生成物體狀態變化，讓觀察者能直觀感受模擬系統的高度擬真與控制性。

對 AI 領域的深遠影響

「Learning Interactive Real-World Simulators」一文的貢獻在於首次系統性融合海量異構實世界數據，透過生成式學習驅動多層次交互模擬，並成功實現策略的真實世界零射擊部署。此一突破有許多重要啟示：

• 打破模擬與現實間鴻溝： 傳統模擬環境多為封閉且專一任務設計，缺乏真實感與多樣性。UniSim透過跨數據源協同訓練，有望成為第一波真正可應用於現實世界的通用交互模擬平台，強化『從模擬到現實』的橋樑。
• 推動通用智能系統建構： 模擬器的多層次、多場景能力使智能體可在統一環境中同時學習視覺理解、語言指令解碼和精細動作執行，有助於催化通用人工智能系統的誕生。
• 促進跨模態與多任務學習： UniSim 展示的跨數據整合與跨任務應用，提供一種新範式，讓未來生成模型除了內容創作，也能成為實時決策、智能交互和世界理解的重要工具。
• 推廣可控內容合成與新型人機協作體驗： 在遊戲、虛擬製片等產業，擁有可交互且模擬細節完整的環境能大幅提升用戶體驗及創作自由度，帶動內容生態與智能交互設計革新。

總結來說，該論文以理論與實證雙重支持證明了基於大規模異構資料的通用實世界模擬器開發之可行性和巨大潛力，為未來 AI 在互動模擬、機器人控制及跨模態理解等方向奠定堅實基礎。作為頂尖學術會議 ICLR 2024 的傑出論文，本研究不僅在技術上具備高度創新，也在工程應用層面展現出強烈的推動力，相信必定會成為未來相關領域重要的里程碑與討論焦點。

---

論文資訊
📄 Learning Interactive Real-World Simulators
👥 Yang, Du, Ghasemipour, Tompson, Kaelbling, Schuurmans, Abbeel
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.06114

Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations

近年來，擴散模型（Diffusion Models）因其在影像生成領域所展現的優異表現，成為深度學習與生成模型的研究熱點。尤其是基於深度神經網路（DNN）訓練的去噪過程與逆擴散機制，能生成高品質影像，顯示此類模型似乎突破了維度詛咒（curse of dimensionality）的限制。然而，近期研究同時指出模型可能隱含著對訓練集記憶的問題，質疑模型是否真正學習到了資料的「連續真實分布」。面對此一爭議，Kadkhodaie等人在其於ICLR 2024發表的論文《Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations》中，深入探討擴散模型的泛化能力與其內部表徵的幾何結構，獲評為Outstanding Paper，彰顯其研究價值與前瞻性。

研究背景與動機

擴散模型主要經由向資料加入隨機噪聲，逐步擾動原始數據，再利用神經網路學習的得分函數（score function），實現逆向去噪過程以還原資料分布。這類模型在多種生成任務中都獲得突破性的成果，特別是在影像合成上。然而，隨著模型體積與訓練資料增大，部分研究發現擴散模型可能存在一定程度的「記憶」現象，即生成的樣本高度相似於訓練圖片，對模型是否真正掌握數據的深層結構提出疑問。

本論文的出發點是深入理解擴散模型中DNN學習的去噪函數的內在機制，與其泛化能力的真正根基。作者透過實驗發現，不同且不重疊的訓練子集訓練出的模型，在樣本數量夠大時，竟能學習到幾乎相同的得分函數，暗示模型不只是死記硬背，而是在逼近數據真實的機率密度。此外，去噪功能的底層結構暗示了模型採用了一種特定的「幾何適應調和基底」（geometry-adaptive harmonic bases），這種基底結合影像的幾何特性與頻譜結構，達成了高效且泛化能力強的表徵。

核心方法與創新

作者將重點放在對「去噪函數」的解析，發現這些深度模型具備一種特殊的誘導偏好（inductive bias）：在一組幾何適應的調和基底上執行壓縮操作。具體來說，所謂的「調和基底」指的是具有波動性（oscillatory）的函數形式，沿著影像的輪廓線和均勻區域呈現分明的頻率結構。這種基底能自然匹配影像的幾何特徵，避免生成過於模糊或過擬合訓練資料。

核心創新在於，作者不只從實驗中觀察到這類基底的存在，更透過理論分析和多種影像資料類型（包含由低維流形支撐的圖像集合）檢驗這一誘導偏好的普遍性與有效性。即使當訓練資料的最佳基底不完全是調和基底時，訓練出的去噪函數仍傾向朝這種基底學習，顯示模組對「幾何適應性調和表徵」具有先天偏好。

此外，作者進一步驗證，當資料類型為結構嚴謹、已知最佳基底的圖像集合（如調和結構明顯的正則圖像類群），模型的去噪性能與理論最佳解相當接近，證明此誘導偏好不僅具備理論意義，也具備實務價值。

主要實驗結果

實驗部分，作者訓練兩個DNN模型，分別使用資料集中不重疊的子集進行學習。結果顯示，在資料量充足情況下，兩模型學得的得分函數極其相似，且生成的影像既非訓練集的複製品，也達到高水準的視覺品質。此實驗直接反駁了擴散模型大量「記憶模式」的猜測，指出模型真正在學習潛在分布。

在分析去噪函數表徵時，作者利用解析方法揭露了在不同圖像區域（如邊緣輪廓、均勻背景）下基底的頻率與形狀特性。這些基底展現出高度結構化的調和波形，進一步驗證模型透過這種結構有效保持生成品質和泛化能力。

進一步實驗也包括在合成低維流形上訓練模型，驗證即使基底非最優調和形式，模型仍傾向向此類基底收斂，展現其強烈的誘導偏好。

對 AI 領域的深遠影響

這篇論文對生成模型與深度學習的理解做出了幾項重要貢獻。首先，它解釋了為何擴散模型能在高維資料空間中實現出色泛化能力，克服「維度詛咒」。關鍵不在於模型以海量參數機械記憶，而是在於模型學習了一種符合資料幾何特性、且具調和性的基底表示，這種表徵可被視為一種強而有力的誘導偏好，保證了模型的穩健性與泛用性。

其次，論文提出了用「幾何適應調和表徵」重新審視深度模型去噪功能的視角，此一理論框架能促進未來生成模型設計，啟發研究者如何藉由融入幾何與頻譜結構提升模型表現與解釋性。

再次，這項研究對於機器學習中模型泛化的理論基礎也具有啟發作用。它展示模型誘導偏好不僅是簡單的架構偏向，而是一種與資料內在幾何高度耦合的結構性現象，對破解黑盒神經網絡機制提供了可能的數學詮釋。

最後，該論文的發現對實務應用意義重大。理解和利用這種幾何適應的調和基底，可以促使開發更高效、更穩定的生成模型，推動影像合成、資料增強、視覺還原等多個應用場景的技術進步。

總結而言，Kadkhodaie等人的研究不僅突破了對擴散模型泛化能力的迷思，更以幾何調和表徵為中心，鏈接了深度學習、頻譜理論及幾何分析，開創了生成模型理解與設計的新視野。

---

論文資訊
📄 Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations
👥 Kadkhodaie, Guth, Simoncelli, Mallat
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.02557

Rethinking the Expressive Power of GNNs via Graph Biconnectivity

在圖神經網路（Graph Neural Networks, GNNs）領域中，提升模型的「表達能力」（expressive power）一直是核心關注點。傳統研究多藉由類比 Weisfeiler-Lehman (WL) 測試 —— 這是一種經典的圖同構檢測方法 —— 來衡量與提升 GNNs 對圖結構資訊的捕捉能力。然而，WL 測試雖有其理論價值，卻也具備固有限制：它無法辨識某些較精細的結構特徵，例如雙連通分量（biconnected components）。本篇由 Zhang 等人於 ICLR 2023 發表並榮獲 Outstanding Paper 的論文《Rethinking the Expressive Power of GNNs via Graph Biconnectivity》，即從全新視角出發，透過引入「圖的雙連通性」 (biconnectivity) 作為表達能力的度量標準，大幅深化我們對 GNN 表達力的理解，也提出創新架構提升表達能力，為此領域帶來嶄新啟發。

研究背景與動機

目前多數 GNN 的設計基於 WL 測試的接近表達力。WL 測試能在多數情況下有效區分非同構圖，並已成為評判 GNN 的主要理論依據。然而，WL 測試存在結構盲點，無法鑑別某些關鍵的圖結構特性，像是雙連通塊或橋邊 (bridge edges)，這些都是描述圖複雜連通性的關鍵要素，與圖的健壯性和拓撲性質息息相關。例如，單點切割點 (articulation points) 與橋邊若被移除，會導致圖結構破碎，這類資訊對於許多應用（如社交網路中影響力節點、化學分子穩定性分析）極為重要。

鑒於此，作者團隊提出疑問：「現有的 GNN 架構是否真正學得了圖中這些細微但意義重大的雙連通性特徵？」透過系統性的理論與實驗分析，證明多數流行 GNN 架構並未展現對雙連通性標準的充分表達力，反映出目前 GNN 設計在理論與實踐間尚存在鴻溝。此發現促使研究者重新思考 GNN 的設計目標與理論基礎，特別是如何擴展超越 WL 測試的表達能力。

核心方法與創新

論文的首要創新，在於提出「基於雙連通性的表達力度量指標」，該指標能捕捉圖中的「雙連通分量」屬性，提供 GNN 理論分析的全新工具。作者詳細剖析了雙連通性如何被高效計算（基於經典線性複雜度的 Tarjan 演算法）以及該特性對於圖結構理解的重要性。

接著，作者系統回顧了現有主流 GNN 架構（如 GCN、GraphSAGE、GAT 等）及部分改良版本，實證性地揭示其無法完整識別雙連通結構的盲點。唯一的例外是先前提出的 ESAN 框架，該框架在結構增強與抽象層次上具備較強能力。對於 ESAN，作者不僅證明了它在雙連通性指標上的理論優勢，也從複雜性與可行性角度進行分析。

其次，為克服現有方法的侷限，論文創造性地提出了一種名為「廣義距離 Weisfeiler-Lehman (Generalized Distance Weisfeiler-Lehman, GD-WL)」的新型演算法。GD-WL 擴充傳統 WL 測試的鄰域聚合機制，結合圖中節點至其他重要關鍵點的距離信息，使其能明確捕捉雙連通分量，理論證明此方法對所有雙連通性指標均具備完整的表達力。

更重要的是，GD-WL 可用類 Transformer 架構實現，不僅保持高度理論表達力，也實現了全並行計算，適合現代高效硬體加速，兼具理論與實務優勢。此設計突破傳統 GNN 逐層迭代、訊息傳遞限制，將圖結構資訊的表達提升到新層次。

主要實驗結果

作者在多組綜合實驗中，從合成數據集到現實世界圖資料上，驗證 GD-WL 方法的效能。實驗結果顯示，GD-WL 在區分雙連通結構及相關圖任務上顯著優於傳統 GNN 和現有先進架構（包含 ESAN）。例如在圖同構測試、節點分類與圖分類任務中，GD-WL 展示出穩定且明顯的性能提升，尤其在結構敏感任務效果更顯著。

此外，透過消融實驗與架構分析，證實 Transformer-like 架構不僅帶來計算效率提升，也促進了特徵表示的豐富性，強化了雙連通表達能力。模型收斂速度及穩定性亦優於多數比對基準，展現出良好的實用潛力。

對 AI 領域的深遠影響

本論文最根本的貢獻在於提醒 GNN 社群，僅以 WL 測試作為表達能力判準或許過於侷限。透過引入雙連通性相關理論與實證檢驗，作者不僅補足了 GNN 表達理論的空白，也為設計下一代更強大、更符合複雜圖結構的神經網路提供了路徑。

GD-WL 所代表的基於距離及結構關鍵點的表述方式，突破了傳統鄰域向量化限制，促進了圖結構複雜性的深入理解，並可通用於端對端學習架構，預計將影響未來複雜圖形資料分析、分子結構預測、社交網路關鍵節點發掘、網路安全等多領域應用。

此外，該研究蘊含了將經典圖論演算法與深度學習模型創新結合的典範，體現了理論嚴謹與工程實踐互促共進的研發精神。GD-WL 的 Transformer 化架構有望啟發更多基於圖的注意力模型設計，對 AI 模型架構的拓展亦具啟示意義。

總而言之，《Rethinking the Expressive Power of GNNs via Graph Biconnectivity》不只是對 GNN 理論體系的革命性重構，也為圖神經網路的應用場景拓展提供了可行且高效的技術方案，是當代圖機器學習領域的一項里程碑式成果。

---

論文資訊
📄 Rethinking the Expressive Power of GNNs via Graph Biconnectivity
👥 Zhang, Gai, Wang, Zhang, Li, Ma
🏆 ICLR 2023 · Outstanding Paper
🔗 arxiv.org/abs/2301.09505