Data Shapley in One Training Run 深度解析：單次訓練完成資料價值評估的新範式

在當代機器學習尤其是大規模深度學習模型的發展浪潮中，了解訓練資料對最終模型性能的貢獻成為一個重要課題。資料的品質好壞、其對模型表現的實際影響，甚至背後的法律與版權問題，都促使研究者探尋精細且可解釋的資料貢獻評估方法。

研究背景與動機

「Data Shapley」作為一套理論上嚴謹的資料貢獻度衡量框架，基於博弈論中 Shapley value 的概念，能夠公平地分配不同訓練樣本對模型性能的貢獻。然而，傳統 Data Shapley 方法需要針對訓練資料不同子集重複訓練許多模型，計算資源消耗巨大，且隨模型與資料規模劇增，計算成本呈指數級增長，幾乎無法應用於現今大型模型如基礎模型（foundation models）的訓練過程。

更重要的是，既有方法通常只評估同一訓練算法下所有可能模型的平均貢獻，無法聚焦於單次特定訓練執行（single run）產生的目標模型，導致在實際運用時，無法準確反映具體模型對各筆資料的獨特依賴與敏感性。

因此，Wang 等人在 ICLR 2025 發表的這篇榮獲 Outstanding Paper Honorable Mention 的論文提出創新性的「In-Run Data Shapley」，旨在解決上述瓶頸，在單次訓練過程中即高效估算資料貢獻，拓展資料定價、清理、版權鑑定等多方面應用可能性。

核心方法與創新點

本論文的核心貢獻，是提出一種基於「單次訓練流程中即時計算」資料貢獻的方法，簡稱 In-Run Data Shapley。其關鍵設計包括：

• 資料貢獻嵌入於單次梯度更新階段：與傳統需要訓練多個子模型的重訓方式不同，作者利用模型訓練過程中每一步梯度更新的訊息，透過數學推導與近似技術，估計每筆資料對最終模型參數的邊際影響。這大幅降低計算成本。
• 採用近似策略結合神經網路力學：基於梯度流動與模型參數變化的敏感度分析，In-Run Data Shapley 透過有效的數值方法及隨機近似，得到穩定而準確的 Shapley 價值估計，而不需多次模型重新訓練。
• 與標準訓練時間相近的低額外開銷：此方法最有效率的版本，在訓練過程中只需輕微額外的計算，幾乎等同於正常模型訓練時間，意味著可直接應用於產業中龐大基礎模型的預訓練階段。
• 支持目標模型專屬貢獻分配：不同於傳統意義上與訓練流程及隨機種子無關的靜態資料貢獻評估，In-Run Data Shapley 是針對特定訓練執行所得的唯一模型，以捕捉模型自身的獨特性，實現細緻的資料影響力歸因。

主要實驗結果

作者在多項實驗中展現了 In-Run Data Shapley 的優勢：

• 效率實測：在多種資料集與模型架構（包括圖像分類和語言模型）上，該方法相較於傳統 Data Shapley，計算時間縮短數量級，且成功做到在單次訓練完成貢獻值估算。
• 精度與合理性驗證：透過人工合成資料以及帶控制的刪除/加入樣本實驗，證實 In-Run Data Shapley 對於模型性能的敏感度評估與傳統多次重訓方式保持高度一致，顯示其估計結果在理論與實務間具備良好一致性。
• 基礎模型預訓練案例：論文首度展示應用於大型基礎模型的預訓練過程，分析不同影像與文字資料對模型表現及泛化能力的輸入貢獻，揭示多源多樣訓練資料在模型力學中的角色與重要性。
• 法律與倫理層面應用：論文亦探討資料貢獻的定量化如何幫助判斷生成式 AI 輸出的版權歸屬，並輔助訓練資料集的調整、淨化，為 AI 產業提出潛在的監管與合規工具。

對 AI 領域的深遠影響

In-Run Data Shapley 的提出，意義深遠且多面向：

首先，它成功跨越了傳統資料價值評估方法因計算瓶頸難以實際應用於大規模模型的障礙，為基礎模型等龐大系統的資料科學分析開啟大門。隨著大模型訓練成本與資料多樣性攀升，能直觀清楚地量化每份資料的貢獻，將大幅提升模型訓練流程的透明度與效率。

其次，該技術擴展了資料經濟範疇，可以用於資料商業化、合理分潤及公平補償的計算基礎，減少資料提供者與模型開發者間的信任障礙，促進整個生態系的健康發展。

再者，在生成式 AI 快速崛起、數據侵權爭議頻傳的大環境下，透過精細化資料貢獻定義，In-Run Data Shapley 提供一條可行路徑，幫助界定訓練資料對生成內容的實際影響，從而支持更合理的著作權規範與審核機制。

最後，從技術層面來看，此論文契合了整體 AI 解釋性與可追溯性的大趨勢，為模型訓練過程中的「數據可解釋 AI」築起基礎，對未來自動化資料管理、模型診斷與優化均有助力。

結語

總體而言，ICLR 2025 上 Wang 等人提出的「Data Shapley in One Training Run」不僅在理論打造與演算法實作面帶來突破，更在大型模型與生成式 AI 的實務應用中孕育巨大潛力。其單次訓練即可精準估算資料價值的創新方法，將成為未來資料驅動 AI 發展的一項重要工具與研究方向。

---

論文資訊
📄 Data Shapley in One Training Run
👥 Wang, Mittal, Song, Jia
🏆 ICLR 2025 · Outstanding Paper Honorable Mention
🔗 arxiv.org/abs/2406.11011

Learning Dynamics of LLM Finetuning

在大型語言模型（Large Language Models, LLM）持續推進自然語言處理能力的今天，如何有效且深入理解這些模型在微調（Finetuning）過程中內部行為的演變，成為一個極具挑戰且重要的議題。Ren 與 Sutherland 於 ICLR 2025 發表的論文《Learning Dynamics of LLM Finetuning》，獲得了傑出論文獎（Outstanding Paper），該研究系統性地揭示了 LLM 微調過程中的「學習動力學（Learning Dynamics）」，透過精細分析特定訓練示例如何影響模型對其他示例的預測，為理解及改進微調技術提供了全新視角與理論基礎。

研究背景與動機

隨著基礎模型規模的不斷擴大，純粹依賴預訓練的模型已難以滿足多樣化應用需求，微調技術（如指令微調、偏好微調）成為提升模型特定任務表現及對齊人類期望的重要手段。然而，現有工作多著眼於微調後模型的整體性能改進，對於微調過程中模型如何逐步調整其內部表示、記憶以及生成行為的「動態過程」卻少有量化與理論化的系統探討。

此外，許多實務中觀察到的現象，如某些微調後幻覺（hallucination）現象反而加劇；偏好微調策略如 off-policy Direct Preference Optimization（DPO）運行時間過長導致最佳策略反而被稀釋的問題，也缺乏統一解釋。這些現象乍看難以理解，背後反映的本質學習動態亟需理論工具來揭露。

核心方法與創新點

本論文提出一套全新的分析框架，稱為「學習動力學分解」（Learning Dynamics Decomposition），藉由逐步拆解每一步微調中，個別訓練樣本如何對不同潛在回應的累積影響力產生變化，進而量化模型內部知識更新與行為調整的演進過程。

研究者透過將訓練過程中的梯度更新視為影響向量的累積，追蹤每個訓練數據點對模型生成不同潛在回答的貢獻，這不僅能反映微調中不同類型訓練示例間的相互作用，同時也能解釋微調後觀察到的模型生成行為變化。

以此框架為基礎，作者深入解析指令調優（instruction tuning）與偏好調優（preference tuning）下的不同學習動態，並提出多項創新見解：

• 透過「跨問題資訊遷移」的假說，解釋了為何微調後模型容易發生特定類型的幻覺，例如模型會用問題 B 的描述片段來回應問題 A，或在產生答案時重複簡單詞組。
• 發現並界定一項名為「擠壓效應」（squeezing effect）的現象，說明在 off-policy DPO 微調中，過度優化會使本應提升的目標輸出概率反而下降，進一步說明了為何 off-policy DPO 有時間窗口限制，其效益會隨時間衰退。
• 透過分析學習動態，解釋了 on-policy DPO 及其變種相較於 off-policy DPO，如何利用動態適應來獲得更穩定且有效的對齊提升效果。

主要實驗結果

透過豐富的實驗，作者在多種 LLM 微調場景下驗證了學習動力學框架的有效性：

• 利用大型公開語言模型與多樣化微調數據，實證展現每一步梯度更新如何影響模型對不同示例的生成分布，成功還原了訓練過程中微妙的資訊傳播路徑。
• 針對幻覺現象，實驗精確捕捉使用錯誤資料片段回應其他問題的情形，證明模型微調過程中「跨示例混淆」的存在，對未來微調資料挑選與篩選提供了實務指引。
• 在 off-policy 及 on-policy DPO 微調過程中，量化擠壓效應並用實驗數據支持該效應對模型最終生成分布的影響，進一步證明 on-policy 方法在長期訓練下更能維持生成質量與偏好對齊。
• 基於學習動力學的洞察，作者提出一種簡單但高效的微調策略改良方法，成功在多個下游任務中提升模型對齊效果，優於傳統微調方法。

對 AI 領域的深遠影響

本論文最具價值之處在於提供了一個系統性且可量化的「學習動力學」理論架構，突破了過去對微調過程中模型行為變化只能事後觀察、難以解釋的困境。此框架不僅豐富了我們對深度學習系統內部演化機制的理解，也為設計更穩健與高效的微調演算法奠定了理論基礎。

具體來說，這項工作為 AI 研究社群帶來以下啟示：

• 理解模型微調中的知識「傳遞路徑」：揭示了訓練資料間如何互相影響模型表現，對於避免錯誤知識傳播與幻覺產生具有重要指導意義。
• 推動對偏好微調方法的再認知：透過解析 off-policy DPO 等方法中出現的擠壓效應，驅動了對這類方法本質限制的深入探究，激勵開發更優化的偏好微調策略。
• 增強模型對齊安全性：學習動力學的分析幫助研究者更精準地調整模型微調過程中引入的偏差與風險，有助於打造符合人類價值觀的安全 AI 系統。
• 實務應用指導：該框架使得工程師能更合理地設計訓練數據選取、微調步驟和優化時間，提升模型調優效率與效果，降低因過度微調帶來的副作用。

總結來說，Ren 與 Sutherland 的《Learning Dynamics of LLM Finetuning》為當前及未來 LLM 微調研究和應用開啟了一扇嶄新的大門，其理論及實驗成果將深刻影響大型模型微調技術的發展軌跡，促使我們更全面且深入地掌握 AI 模型「怎麼學」以及「學到什麼」的關鍵過程，推動 AI 系統更理性、穩健與可控的演進。

---

論文資訊
📄 Learning Dynamics of LLM Finetuning
👥 Ren, Sutherland
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2407.10490

Safety Alignment Should Be Made More Than Just a Few Tokens Deep

隨著大型語言模型（Large Language Models, LLMs）在自然語言處理領域的飛速發展，模型安全性與對齊（alignment）問題也變得愈發重要。如何確保模型在生成內容時不會產生有害、誤導或不符合使用規範的輸出，一直是研究熱點。傳統的安全對齊策略多集中於模型生成的前幾個詞元（tokens），期待藉此快速「導正」模型行為，防止潛在的危害。然而來自Qi等人於2025年ICLR發表的獲獎論文《Safety Alignment Should Be Made More Than Just a Few Tokens Deep》指出，這種「淺層安全對齊」策略存在根本性的弱點，容易被各種攻擊和操作手段所繞過，導致對齊失效。

一、研究背景與動機

當前主流的LLM安全對齊方法普遍利用「前幾個詞元即決定模型後續生成內容」的假設，透過調整生成過程初期的生成分佈，將模型行為約束在預期範圍內。這看似合理，但在實務中反覆暴露出多種安全漏洞，例如對抗後綴攻擊（adversarial suffix attacks）、預填充攻擊（prefilling attacks）、解碼參數攻擊（decoding parameter attacks）及細微微調攻擊（fine-tuning attacks）等，這些漏洞都指向同一問題：安全對齊只淺嘗輒止，未能深層介入整體生成過程，導致模型能夠透過生成初期之外的位置突破限制。

論文作者團隊因此提出「淺層安全對齊」（shallow safety alignment）這一新概念，批判現行安全對齊策略過度倚賴模型的前幾個詞元的限制，忽略了模型隨著生成序列不斷推進可能展現的多樣化行為。這項觀察不僅有助於理清眾多近期被發現的LLM安全漏洞的根本原因，亦指向了更為根本的改進方向。

二、核心方法與創新

論文的核心貢獻在於系統性揭示淺層安全對齊的存在機制及其漏洞效應，並提出加深安全對齊深度的策略。具體而言，作者：

• 案例分析：通過實驗案例細緻分析，展現模型安全對齊過程中只在初期詞元施加調整，如何使得後續生成階段變得脆弱，並能被對抗策略利用突破限制。
• 多重攻擊實驗驗證：驗證多種攻擊方式（如對抗後綴、預填充、解碼參數調整及微調攻擊）對現有安全對齊模型的破壞效果，證明這些常見攻擊正是利用了淺層對齊的缺陷。
• 加深安全對齊深度的設計：提出將安全約束延伸到生成過程中更多詞元，突破以往局限於「前幾個詞元」的做法，從而提升對抗各類攻擊的魯棒性。
• 正則化微調目標函數：創新地設計一種在微調時限制初始詞元輸出分布變化的正則化方法，抑制微調攻擊對對齊效果的破壞，使模型在面對再訓練時保持相對穩定的安全對齊。

這些方法共同推動了安全對齊從淺層走向深層，使模型的整體生成過程更加「堅固」，難以被外來逆襲策略輕易滲透。

三、主要實驗結果

實驗部分涵蓋多種現有LLM及其安全對齊版本，重點評估：

• 淺層安全對齊現象普遍存在：通過量化分析，證明多數主流對齊模型的安全強化集中於前5～10個詞元，並顯示出後續詞元生成階段安全保障顯著下降。
• 攻擊有效性證明：實驗揭示各類攻擊在未加深對齊的模型中均能較高成功率完成情報竊取、規範繞過等行為，特別是微調攻擊和附加式後綴攻擊效果顯著。
• 加深對齊深度提升防禦力：將安全強化擴展至更多詞元後，模型在抵抗上述攻擊方面展現顯著提升，成功降低對抗成功率，有效抑制不良生成行為。
• 正則化微調反饋良好：引入初始詞元更新限制的正則化微調策略，顯著減少微調攻擊對安全對齊影響，強化模型再訓練期間的穩定性。

總體而言，研究證明「跨越淺層限制，進行深層安全對齊」是提升LLM魯棒性與安全性的關鍵一步。

四、對 AI 領域的深遠影響

本文在安全對齊領域提出的「淺層安全對齊」概念，為理解大型語言模型中存在的多種安全漏洞提供了統一且深入的理論基礎。過去研究多從個別攻擊手法層面切入，較少從整體生成序列安全對齊深度的角度反思。本論文不僅指明了現有安全機制失效的根本瓶頸，也提供了明確的改進方向，即安全對齊不應只停留於生成流程的起始階段，而必須覆蓋更多生成詞元，使安全約束「深度扎根」於模型的整個生成過程中，才能有效抵禦多樣化及日益複雜的攻擊。

此外，本文提出的初始詞元正則化微調機制，為面對模型產業應用中頻繁的再訓練與自訂微調場景提供了實用手段，有助於安全對齊技術更好地融入現實部署流程，實現更可靠且持久的安全防護。

這些洞察與方法將對未來LLM的安全設計、模型微調策略、以及生成模型攻防研究產生深遠影響，推動業界與學術界重新思考安全對齊的深度與廣度，促進AI系統在安全且可控的軌道上發展。未來相關研究可進一步探討多元安全信號的多層結合策略、高效且具普適性的深層對齊算法，以及對動態上下文中生成安全約束的即時調節機制。

總結而言，Qi等人的研究突破了傳統安全對齊的設計框架，凸顯「對齊深度」的重要性，是對大型語言模型安全領域一項極具前瞻性且實務價值的貢獻，值得AI工程師與研究人員深入學習與借鑑。

---

論文資訊
📄 Safety Alignment Should Be Made More Than Just a Few Tokens Deep
👥 Qi, Panda, Lyu, Ma, Roy, Beirami, Mittal, Henderson
🏆 ICLR 2025 · Outstanding Paper
🔗 arxiv.org/abs/2406.05946

KAN: Kolmogorov-Arnold Networks 深度解析—突破傳統 MLP 的創新架構

在深度學習領域中，多層感知器（Multi-Layer Perceptrons，簡稱 MLP）長期以來都是神經網路的基石模型，其架構包括固定形式的節點激活函數與線性權重參數。然而，ICLR 2024 年榮獲 Outstanding Paper 獎的論文《KAN: Kolmogorov-Arnold Networks》由劉立（Liu）、王鵬（Wang）、Vaidya 等人所提出的一項突破性架構，挑戰了傳統 MLP 的設計範式，藉由結合數學界知名的 Kolmogorov-Arnold 表示定理，創造出一種全新神經網路——Kolmogorov-Arnold Networks（KAN），展現出更優異的表現與解釋力。

研究背景與動機

目前深度神經網路的設計，核心在於利用節點上的激活函數搭配連結邊上的線性權重，來建模複雜的非線性函數映射。然而，這種「節點固定激活、邊線性權重」的方式，某些程度限制了模型的靈活度與表達能力，尤其在解析性與可解釋性方面仍有不足。另一方面，從數學理論視角看，Kolmogorov-Arnold 表示定理提供了一種將任意連續多變數函數分解成有限組合單變數函數的結構，這啟發研究團隊思考，若能將此理論融入神經網路架構，便能在模型設計上帶來根本性的革新。

具體動機在於：1) 探索「參數化激活函數」的可能性——將激活函數不再固定於節點，而改為學習式的單維函數掛載在連接邊上；2) 在保有強大表達能力的同時，提升模型的解釋性與內部機制的透明度；3) 透過基於理論定理的架構設計，促使模型在數據擬合與科學問題（如偏微分方程求解）中展現更有效率與精度。

核心方法與創新點

KAN 的核心技術革命在於它完全捨棄傳統的線性權重參數，取而代之的是以「邊權激活函數」取代。這些「權重」不再是單一標量參數，而是經過參數化的單變數函數，通常以樣條（spline）函數的形式實現。也就是說，網路中每條連接邊都代表一個可學習的單變數非線性函數，而非純粹的數值乘法因子。

此架構靈感直接源自 Kolmogorov-Arnold 表示定理：該定理指出，任意連續多元函數都能表示為有限組合的單變數函數。KAN 便利用此概念，透過多層組合結合單變數激活函數，在邊上學習適合的函數形態，取代傳統 MLP 的線性權重疊加與節點固定激活。

KAN 的主要創新包括：

• 可學習的激活函數分佈於邊權：傳統神經元的激活函數形式固定（如 ReLU、Sigmoid），而 KAN 讓激活函數本身可透過樣條參數化並學習，讓非線性模組化更自然且富有彈性。
• 完全去除線性權重參數：將神經網路每條邊權重替換為函數形式，使每次傳遞的訊息是經過非線性曲線變換，理論上可表達更複雜的函數空間。
• 輕量且高效的模型：由於函數以少量參數的樣條表示，實驗中驚人體現出較小的 KAN 網路即可匹敵甚至超越大規模 MLP，在精度與參數量間取得理想平衡。
• 優越的可解釋性：由於「權重」即為可視化的單變數函數，研究者與使用者可以直觀地觀察這些函數形態，理解模型如何進行映射，提升人機互動。

主要實驗結果

論文中全面比較了 KAN 與傳統 MLP 在多種任務上的效能，重點結果包括：

• 資料擬合問題：在各類非線性函數擬合任務中，KAN 較小體量的模型就能達到甚至超越大幅度增加參數的 MLP，展現出更優的泛化能力與收斂速度。
• 偏微分方程（PDE）求解：KAN 能成功捕捉高維複雜 PDE 解的結構，且在數值穩定性與精度上超越傳統 MLP 方法，證明其在科學計算領域的潛力。
• 神經縮放定律（Neural Scaling Laws）：理論與實驗均顯示 KAN 具有更快速的誤差衰減曲線，意味著模型規模擴大時，其效益提升速度超過傳統 MLP。
• 可解釋性實際示範：論文展示數學與物理領域的兩個案例，透過視覺化 KAN 邊函數，幫助科學家挖掘並重構隱藏的數學方程或物理規律，顯示 KAN 是值得信賴的科學探索夥伴。

對 AI 領域的深遠影響

KAN 的提出代表了神經網路架構設計的一次根本性挑戰與創新，除了學術理論上的意義，更衝擊了實務與未來發展：

• 開啟結構性非線性參數化新思路：KAN 以函數取代純參數權重的設計拆解，極大拓展了神經網路學習的靈活度與多樣性，未來可能催生更多類似「函數型參數」的模型創新。
• 促進深度模型的可解釋性研究：由於每條邊的激活函數均可視化並理解，KAN 提供一條可行的途徑改善黑盒神經網路的透明度與可控度，促進人機協同與安全 AI 發展。
• 助力科學計算與跨域應用：在偏微分方程求解、物理現象建模等科學問題上，KAN 證明了其強大的數值精度與泛化能力，未來可望成為科學家、工程師的核心工具，推動科學發現與工程設計。
• 推動神經網路理論進步：KAN 與 Kolmogorov-Arnold 表示定理的結合，實現了一種基於嚴謹數學結構的神經網路設計路徑，將促使未來神經網路理論與實踐融合更加緊密。
• 打破 MLP 作為標準基底的二元格局：大多數現代深度學習框架底層仍依賴傳統 MLP 模組，KAN 的成功證明了「非線性函數作為權重」的架構路線不僅可行而且更具優勢，未來可望改寫神經網路設計規範。

總結來說，KAN 代表了深度學習模型設計的新里程碑。它不僅以 Kolmogorov-Arnold 理論為數學基礎，架構上完全顛覆了節點激活與權重參數化的既有模式，還提供了一套具備更高效、精準與解釋友好的替代方案。對於追求模型性能與可解釋性的工程師與研究者而言，KAN 不啻為一盞具有開拓意義的指路明燈，未來值得在更多實際領域深入探索與應用。

---

論文資訊
📄 KAN: Kolmogorov-Arnold Networks
👥 Liu, Wang, Vaidya, Ruehle, Halverson, Soljačić, Hou, Tegmark
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2404.19756

Mamba: Linear-Time Sequence Modeling with Selective State Spaces 深度簡介

近年來，Transformer 架構憑藉其強大的建模能力，已成為深度學習領域中的基礎模型核心，推動語言、音訊、基因組等多種序列資料的突破性發展。然而，Transformer 在面對長序列時的計算複雜度高達二次方，使其在資源有限或長序列應用中效率不彰，催生了大量針對加速和降低運算負擔的架構改良方案。

本次於 ICLR 2024 獲得 Outstanding Paper 的《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》一文，由 Gu Dao 等人提出了一種基於選擇性狀態空間模型（Selective State Space Models, S3M）的新型序列建模架構——Mamba，成功在保持甚至超越 Transformer 性能的同時，以線性時間的推理效率解決長序列處理的核心挑戰，為序列建模領域開闢一條新的技術路徑。

研究背景與動機

Transformer 的自注意力機制對序列中任意位置的內容均可直接關聯，為語言模型等提供了極強的上下文理解能力。但其計算代價隨序列長度平方級增長，限制了在超長序列或低延遲場景的應用。為解決此問題，近年研究社群嘗試以線性注意力、門控卷積、循環神經網路及結構化狀態空間模型（SSMs）等架構降低計算成本。

其中，結構化狀態空間模型因長距依賴建模能力佳且可實現線性時間複雜度，被看作取代 Transformer 的有力競爭者。但現有 SSM 架構在離散符號（如語言）等模態表現未能達到 Transformer 水準，研究者發現其關鍵瓶頸在於模型缺乏以內容為依據的推理能力，即無法根據當前輸入動態調節狀態的更新與遺忘策略，導致上下文捕捉不夠彈性與精確。

核心方法與創新

Mamba 論文的最重要貢獻即在於設計出具備「選擇性參數」的狀態空間模型。具體而言，作者提出將 SSM 的關鍵參數表示為當前輸入的函數，讓模型能動態根據每個標記（token）來調整狀態轉移與輸出過程，類似於賦予模型內容敏感的「控制門」，實現資訊的有選擇性保存或遺忘。這種設計大幅提升 SSM 在離散模態上的建模能力，使其兼具內容感知與長距依賴捕捉。

引入動態參數化後，傳統基於卷積的快速計算路徑被打破，為解決這一效率瓶頸，作者設計了一套「硬體感知（hardware-aware）」的並行演算法，在循環 (recurrent) 模式下有效利用現代 GPU 的平行計算能力，達成線性時間複雜度且保持高吞吐量。

此外，Mamba 架構設計上極致簡化，捨棄了經典 Transformer 的注意力機制與多層感知器 (MLP) 區塊，以純粹且統一的選擇性狀態空間層組成端到端神經網路骨幹，這不僅降低了架構的複雜度，也強化了模型的理論解釋與實際應用便利性。

主要實驗結果

經由大規模的多模態評測，Mamba 展現出驚人的表現：在自然語言建模任務中，3B 參數版本的 Mamba，無論是在大規模預訓練或下游任務上，都超越了相同規模 Transformer 模型的效能，甚至追平了兩倍參數尺寸 Transformer 的表現，顯示出優異的參數效率和泛化能力。

音訊和基因組資料上的測試同樣驗證了 Mamba 的廣泛適用性和領先性能，使其成為跨領域序列資料分析的新興主力架構。

在推理速度方面，Mamba 擁有遠高於 Transformer 約 5 倍的吞吐量，且在序列長度接近百萬 token 時仍保持線性運算複雜度，為超長序列實時處理提供了可行解決方案。

對 AI 領域的深遠影響

Mamba 的成功不僅是對傳統 Transformer 架構的一次強力挑戰，更重要的是對序列建模范式的創新拓展。其選擇性狀態空間策略突破了以往 SSM 模型無法靈活響應輸入內容的短板，填補了內容敏感與計算高效之間的鴻溝。

在實務角度，Mamba 為開發面臨長序列、大規模資料的系統工程師帶來了新的利器，可應用於語言理解、語音識別、基因序列分析等多種領域，尤其適合需在有限資源下進行高效推理的嵌入式或邊緣應用。

學術層面，Mamba 提供了可解釋的、結構化且硬體友好的序列處理架構設計範例，激發未來研究者探索結合動態參數化與高效計算的深度模型新方向，可能引領序列模型從單純的注意力機制走向更靈活且高效的混合建模體系。

總體而言，Mamba 不僅完成了效率與效能之間的雙贏，也為長序列處理帶來了理論與應用上的雙重革命，預示著未來大型基礎模型的架構創新將更加多元與實用。

---

論文資訊
📄 Mamba: Linear-Time Sequence Modeling with Selective State Spaces
👥 Gu, Dao
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2312.00752

Learning Interactive Real-World Simulators

研究背景與動機

隨著生成模型（Generative Models）在自然語言處理、影像與視訊生成領域的突破，未來人工智慧的發展趨勢之一，是讓模型能夠模擬人類或機器人在真實世界中互動時的反應與結果。簡言之，真正的目標不只是生產靜態的文字、影像或影片，而是建構一套能夠隨「動作」改變環境狀態、實現「動態模擬」的系統，即所謂的「互動式真實世界模擬器」。此類模擬器的應用潛力巨大，無論是遊戲與電影中的可控內容生成，還是機器人在純模擬環境中訓練後能直接上手現實任務，都代表著智慧代理（embodied agent）技術突破關鍵瓶頸。

然而，模擬真實世界的互動場景具備高度複雜性與多元性，環境中充斥著數以千計的物件、多種行為策略且涵蓋豐富感知維度。過往多半專注於特定場景或任務，例如固定環境中的導航、單一機器臂的操控等，缺乏一套能整合來自不同資料來源，並涵蓋多層次指令（從高階語言指示到低階控制信號）的通用模擬方法。在此背景下，Yang 等人在 ICLR 2024提出的《Learning Interactive Real-World Simulators》勇於挑戰這項難題，嘗試從多元網路數據中學習一個能涵蓋多樣化互動的「通用模擬器」（Universal Simulator，簡稱 UniSim）。

核心方法與創新

本論文的核心貢獻可從以下幾點切入：

1. 跨模態多維度資料整合： 作者發現現有豐富的自然資料庫──包含大量含物件的影像數據集、機器人領域的連續控制行為與動作記錄，以及導航與行動數據──各自涵蓋真實交互經驗的不同面向。透過精心設計的機制，將這些異構資料在同一模擬框架中進行融合，使得模擬器能同時理解並合成複雜動作與視覺變化，達到跨領域的互動模擬。
2. 生成式模型驅動的動態模擬： 利用生成模型的強大表達力，論文提出的 UniSim 不僅能從靜態場景中「生成」出高品質的變化影像，更能隨指令（包含自然語言或低階動作控制）模擬真實場景的動態演化。例如，對於「打開抽屜」這類高階語言指令，模擬器能對應產生相應視覺結果；對於機器人控制信號，亦能呈現連貫的視覺動作序列。
3. 多策略訓練與零次實境轉移（Zero-Shot Transfer）： UniSim 不僅支援高階視覺與語言策略的訓練，也支援低階強化學習策略。更重要的是，作者在純模擬環境中訓練的策略，成功實現了在真實世界的「零次」部署，意味著在不需進行額外微調或收集真實數據的情況下，智能體能直接運作，突破了過往模擬與現實差距（sim-to-real gap）的瓶頸。
4. 模擬經驗促進其他任務表現： 此外，研究還展示了基於模擬生成的動態視訊數據能顯著提升相關任務的性能，例如影片字幕生成（video captioning），擴大了模擬器在 AI 智能體訓練之外的應用價值。

主要實驗結果

本論文在多項實驗上驗證 UniSim 的效能及適用性：

• 多維度真實交互數據融合： 作者使用來自不同領域的一系列大型數據集，經過融合後訓練 UniSim，展示其能有效生成符合不同動作指令的視覺反饋。模擬結果不只是靜態圖像更迭，而是連續且自然的真實感互動序列。
• 多階層策略訓練與真實世界零次部署： 透過 UniSim，訓練得到的視覺-語言策略可完成「開抽屜」等複雜操作，且在真實世界中無需再調整即可進行。低階強化學習策略也展現出可直接控制機械臂的能力，證明模擬器的泛化效果與實用性。
• 跨任務效益擴展： 模擬生成的視訊數據被用來強化影片字幕模型，結果顯示在視訊理解任務上明顯優於未使用模擬資料的基線，說明 UniSim 不僅為互動模擬提供解決方案，也拓展了模擬生成資料的應用範圍。

對 AI 領域的深遠影響

Yang 等人的這篇論文，透過整合來自不同維度的真實資料，提出一個首創的通用交互式真實世界模擬器 UniSim，不僅在技術上突破了以往模擬器往往「孤立」且「窄域」的限制，也為多智能體系統的訓練及應用開啟了全新視野。其深遠影響主要體現在：

1. 跨模態、多維度資料驅動的智慧體訓練框架： UniSim 的設計思想鼓勵未來研究不再侷限於單一類型或單一任務的資料，而是將不同感知與行為維度有機整合，以達成更通用的智能行為模擬。
2. 促進真實世界智能體的零次部署能力： 解決了長久以來「模擬與現實差距」的挑戰，推進強化學習及視覺語言策略從實驗室的模擬走向真實應用，降低了現場調校的昂貴成本。
3. 推動更多跨領域應用及模擬生成資料生態系統： UniSim 不僅讓互動模擬成為可能，也展示了模擬生成資料對其他 AI 任務（如視訊理解）的實用價值，將加速生成模型在 AI 生態中多元化發展。
4. 促進智能內容創作與自主機器人技術融合： 利用真實世界互動模擬，未來可實現故事或場景因應用戶指令即時生成動態內容，也能加速機器人從仿真學習到現場實作的整合流程，提升機器人智能的實用性與安全性。

總結而言，《Learning Interactive Real-World Simulators》不僅提供了一條通向通用互動式真實世界模擬的關鍵技術路徑，也代表生成模型從靜態內容生產向動態互動模擬轉型的重要里程碑，對促進智能系統與現實世界的無縫銜接具有劃時代的指標意義。

---

論文資訊
📄 Learning Interactive Real-World Simulators
👥 Yang, Du, Ghasemipour, Tompson, Kaelbling, Schuurmans, Abbeel
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.06114

Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations

隨著深度學習技術的飛速發展，擴散模型（Diffusion Models）憑藉其在生成影像上的卓越表現，已成為當今生成式模型研究的熱點。2024 年 ICLR 年會中，Kadkhodaie 等人在論文《Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations》提出了對擴散模型泛化能力的深刻理論解析，並囊括「Outstanding Paper」獎，本文將深入解讀其研究背景、核心貢獻、實驗成果及其對 AI 領域的重要啟示。

一、研究背景與動機

深度神經網路（DNN）在影像去噪（image denoising）任務中的成功推動了基於去噪過程的擴散生成方法的迅速發展。透過訓練神經網絡學習得分函數（score function），並反向運用擴散過程，模型可生成具備高視覺品質的影像。然而，儘管這種方法看似能夠突破維度災難（curse of dimensionality），近期卻有研究指出部分模型出現過度記憶（memorization）訓練資料的問題，讓人質疑這些模型是否真正理解並學習了資料的「真實」連續分布密度。

基於此背景，本論文的核心動機就是探討 DNN 訓練的擴散模型如何能擁有強泛化能力，即使在無重疊的訓練子集上訓練，模型仍學得幾乎相同的得分函數，並能生成非訓練集但高品質的新影像。研究者期待揭示神經網絡內在的歸納偏好（inductive bias）是如何與底層資料幾何特性相結合，推動模型學習出穩健且具泛化力的概率密度。

二、核心方法與創新

本論文從理論與實驗雙向切入，系統性分析神經網絡的去噪函數（denoising functions）與其所暗示的基底表示（basis representations）。研究發現，訓練後的網絡內部其實執行了一項「收縮操作」（shrinkage operation）——即在一組與輸入影像結構幾何特性高度耦合的基底空間中進行訊號抑制與重建，這種基底被稱為「幾何自適應諧調基底」（geometry-adaptive harmonic bases）。

具體而言，這些基底展現出沿影像輪廓與均質區域的振盪諧波結構，呈現出明顯的局部頻譜特徵，能夠有效捕捉影像的低維流形特性與幾何形態。這樣的策略並非僅適用於自然照片，而在受限於低維流形的影像類別中，即使理論上的最優基底不完全是諧波形式，網絡仍傾向學出此類幾何調節的諧波結構，顯示強烈的歸納偏好。

這種發現挑戰了傳統將 DNN 黑盒視作純参数化函數的觀點，透過連結神經網絡表現、訊號處理基底理論、與幾何數學的跨領域視角，提出了一種嶄新的理論框架，有效解釋了擴散模型的泛化現象。更精確地說，當資料類別滿足特定幾何假設（regular image classes）且知曉幾何自適應諧波基底的理論最優性時，模型的去噪與生成性能接近理論最佳。

三、主要實驗結果

為驗證理論分析，作者設計了一系列嚴謹實驗，包括：

• 將同一資料集劃分為不重疊子集，分別獨立訓練兩個去噪網絡，結果顯示兩者所學得的得分函數高度相似，且均能生成不同於訓練集的高品質新影像，強烈支持「強泛化能力」的存在。
• 在影像基底分析實驗中，透過對去噪過程的數學拆解與頻譜分析，提煉出了振盪諧波基底形態的證據，並且研究其在各種圖像形態（從自然照片到人工合成的低維流形資料）上的一致性。
• 對比理論最優基底與網絡自適應學習的基底，實驗表明在已知的正則影像類型中，網絡的基底選擇與理論預測吻合，而在複雜資料中依然會趨向於幾何自適應的諧波形態。
• 進一步通過去噪任務的量化評估，展示這種幾何自適應諧波表示帶來的性能優化，幾乎達到了既有理論框架下的最佳去噪效果。

四、對 AI 領域的深遠影響

此篇獲獎論文突破性提出擴散模型泛化能力的新解釋，為深度學習理論與生成模型提供了豐富的研究資源與思考框架。其主要影響包含：

• 生成模型理論的深化：傳統上生成模型的泛化能力多被歸因於大量訓練資料與複雜模型架構，本文揭示神經網絡的「歸納偏好」與資料內在幾何結構的相互作用是泛化的核心，這為未來設計更有效率且解釋性強的生成模型奠定理論基礎。
• 結合幾何方法與深度學習：提出的幾何自適應諧波基底提供了將訊號處理與幾何分析工具整合到神經網絡設計的新方向，有助於克服維度災難與建構更穩健的學習機制。
• 實務應用的啟示：該研究能指引工程師在資料選取、模型訓練及架構設計上，如何利用資料的幾何屬性強化模型泛化能力，尤其對影像恢復、影像生成以及相關視覺任務有顯著幫助。
• 推動跨領域研究：結合幾何學、調和分析及深度學習的跨界合作模式成為趨勢，激發了更多基於數學理論嚴謹驗證的 AI 研究，加速基礎理論向應用實踐的轉化。

總結來說，Kadkhodaie 等人的工作不僅以嚴謹的理論闡明了擴散模型在高維空間中成功泛化的秘密，還以實驗證實了幾何自適應諧波基底在神經網絡學習中的天然優勢。這項發現突破了黑盒神經網絡的傳統認知，為未來深度生成模型研究提供了嶄新且具指標性的理論基礎，進一步拓展了 AI 在影像理解與合成上的技術邊界。

---

論文資訊
📄 Generalization in Diffusion Models Arises from Geometry-Adaptive Harmonic Representations
👥 Kadkhodaie, Guth, Simoncelli, Mallat
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.02557