Learning Interactive Real-World Simulators

在人工智慧的發展歷程中，生成模型已經徹底改變了我們創造文字、圖片和影片內容的方式。從早期的圖像生成到近期的多模態文本生成，這類模型在內容創作的自動化和多樣化中扮演關鍵角色。然而，下一個重大挑戰是讓生成模型不僅能創造靜態或被動內容，更能模擬真實世界中互動式的動態體驗，對人類、機器人或其他互動代理的行為作出回應。ICLR 2024 獲獎論文《Learning Interactive Real-World Simulators》由 Yang 等人發表，正是針對此一難題提出了開創性的解決方案。

研究背景與動機

模擬器在機器學習和機器人領域一直是重要工具，能夠在受控環境中讓模型學習並測試策略，避免直接在真實世界中造成代價高昂或危險的錯誤。然而，現有模擬器大多針對特定任務或場景設計，缺乏通用性與真實世界的複雜度，無法充分反映自然場景中多樣化物體、豐富行為及高維感知反饋。此外，真實世界的互動往往涉及跨模態的信息，比如視覺結果、語言指令與物理控制，這使得模型單一來源的訓練資料難以建構全面的體驗模擬器。

作者觀察到，當前可用於訓練的自然數據集在多個維度上都相當豐富——圖像數據涵蓋各式各樣的物體，機器人數據包含緊密採樣的動作軌跡，導航數據展現多元運動範例。這些異質資料各自呈現了現實世界互動的部分面向，若能有效整合與協調，將有機會建立一個通用、強大且符合實際的互動模擬器，而不需為每種場景從零打造。

核心方法與創新

本論文核心提出了一個稱為 UniSim（Universal Simulator）的框架，基於生成模型，來統一學習多樣化自然資料中蘊含的互動知識。UniSim 能夠接受高階語言指令（如「打開抽屜」）及底層物理控制信號，從靜態的物體與場景映像中預測互動後的視覺結果。

UniSim 主要技術創新包括：

• 異質資料的協同學習：將來自不同領域且形式多樣的數據（靜態圖像、機器人操控軌跡、導航視頻等）融匯於一體，通過協同的生成模型架構學習到關於物理交互及因果關係的統一表徵。
• 跨層級指令與控制整合：UniSim 同時支援高階語言指令和低階操作指令，讓模型不僅能根據抽象指令產生視覺變化，亦能細緻模擬實際控制信號所導致的連續狀態轉移，實現細膩的互動反饋。
• 生成式模擬驅動策略訓練：模型產生的模擬結果可以直接用於訓練不同層級的強化學習策略（從高層決策的視覺語言策略到低層物理控制策略），並能實現零次轉移到真實世界的直接部署。

另外，UniSim 不僅是模擬工具，也能作為增强數據生成器，幫助訓練視頻字幕等其他智能系統，展現其多面向的應用潛力。

主要實驗結果

在實驗部分，作者透過豐富的異質數據集合訓練 UniSim，並從下列幾個角度驗證系統表現：

• 高階指令模擬：UniSim 成功從靜態場景及物體圖像出發，根據高階指令生成符合預期的視覺結果。例如，給定「打開抽屜」指令，模擬器能預測打開後整個場景的動態圖像。
• 低階控制模擬：證明 UniSim 對底層機器人關節指令的響應精確且流暢，模擬出的後續狀態與真實操作高度一致，實現了連續動作空間的有效模擬。
• 下游策略訓練：透過 UniSim 模擬環境訓練的視覺語言策略及強化學習代理，均能在真實場景中零次轉移直接部署並取得不錯表現，彰顯模擬器強大的寫實性與泛化能力。
• 視頻字幕任務提升：利用模擬生成的豐富訓練資料，視頻字幕模型展現出更好的語義理解及生成效果，拓展了模擬器在其他智能任務上的應用。

對 AI 領域的深遠影響

本論文從根本上推動了模擬器技術向「通用且互動」的方向躍進。透過學習異質的海量自然數據，UniSim 打破了過去模擬器依賴嚴格物理建模或特定場景設計的限制，為生成模型進入動態且連續交互的實時模擬提供了全新範式。

這種方法的長遠意義包括：

• 推動機器人實證與訓練：傳統機器人訓練往往需要昂貴且耗時的物理實驗，在真實世界運行風險高。UniSim 透過高真實度模擬大幅降低此痛點，有望促進機器人更快速的開發週期與部署效率。
• 跨模態智能系統的整合基石：結合視覺、語言與動作控製的統一模擬器，促進多模態代理的端到端訓練與優化，促成未來更靈活自主的智能體互動與決策系統。
• 內容創作與虛擬體驗革新：可控且真實的互動模擬器，將為遊戲、電影特效乃至虛擬實境產生創新內容提供強大工具，帶來更加沉浸且個性化的體驗。
• 促進模擬驅動的研究與應用擴散：透過將模擬與生成模型結合的方式，UniSim 為其他領域如視頻理解、語義生成等智能任務注入了新的訓練資料與思維方式，具有跨領域促進效果。

總結而言，《Learning Interactive Real-World Simulators》 不僅展示了一種以生成模型構建通用互動模擬器的可行路徑，更實質推動了模擬與真實世界橋接的進程。這將極大地促進機器學習、機器人及多模態智能的實用化，為自主智能代理的未來開啟全新篇章。

---

論文資訊
📄 Learning Interactive Real-World Simulators
👥 Yang, Du, Ghasemipour, Tompson, Kaelbling, Schuurmans, Abbeel
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.06114