Learning Interactive Real-World Simulators

隨著生成模型（Generative Models）在文字、影像與影片內容創造上的突破，人工智慧在「被動」內容生成的能力已漸趨成熟，然而下一個具有深遠意義的里程碑，或許是在於研發能夠根據「主動互動行為」模擬真實世界體驗的系統。由此出發，ICLR 2024 會議中由 Yang 等人發表的論文《Learning Interactive Real-World Simulators》提出了一套稱為 UniSim（Universal Simulator）的全新生成式模擬系統，該系統旨在通過多元資料集的整合與生成模型的設計，學習並再現人類、機器人以及其它互動代理在真實世界中行為後的視覺反饋與體驗變化，開創了互動式真實模擬器的新局面。

研究背景與動機

過去生成模型主要聚焦於從大量網路資料中學習靜態或者非互動內容，如文本生成、影像合成與影片製作，這些模型通常是「單向」生成內容，缺乏對外部行為輸入的即時反饋能力。另一方面，在機器人和強化學習領域，環境模擬器為訓練代理提供了必要的場域，但多數模擬器屬於「物理引擎」或「專題模擬」，其象限局限於特定任務或狹隘環境，無法普遍模擬真實世界各式各樣自然又複雜的互動形式。

本論文靈感來自於觀察，現有的自然數據集實際上各自蘊含了豐富而多元的訊息維度，例如圖像數據中包含多樣物品，機器人數據記錄了密集的操作行為，導航數據則展現出不同的移動路徑。如何將這些看似分散且各具專長的多源數據有效整合，以學習出一個能因應高階指令（例如「打開抽屜」）和低階控制信號（操作動作）而產生合理且真實反饋的互動模擬器，是該研究的核心動機。

核心方法與技術創新

UniSim 的架構基於生成模型，利用自回歸（autoregressive）與變分推斷（variational inference）等先進機制，將多種不同型態的真實世界互動數據加以融合訓練。其核心的技術創新可以歸納如下：

• 多來源數據跨域整合：UniSim 並非僅依賴單一場域數據，而是系統性地使用圖片、視訊、機器人動作記錄與導航軌跡等多種資料集，透過精心設計的資料前處理與訓練流程，讓生成模型學習到物體在不同交互動作下的變化規則與因果關係。
• 層級行為控制輸入：UniSim 支援從高階語言指令（如自然語言指令）到底層數值控制信號（如機器手臂的具體動作參數）的多層次行為輸入，能模擬出包含抽象與細節層面的互動情境，多方配合精密調整模型結構來達到兼顧通用性與細膩性的效果。
• 視覺結果生成與真實世界零射部署：生成的模擬結果包含高度擬真的視覺畫面，並結合強化學習與視覺—語言策略訓練，使得經由模擬器訓練出的策略能夠不需額外微調（zero-shot）直接應用於真實環境，顯著降低現實世界訓練成本與風險。

主要實驗結果

研究團隊針對 UniSim 的表現進行了多方面評估，包含從視覺生成到操作策略應用的端到端實驗：

• 高階指令下的視覺模擬：UniSim 能根據像「打開抽屜」這樣的語義指令，從靜態場景中生成動作後的視覺狀態，展現了其對語義與物理行為關聯的深刻理解。
• 低階控制的精細動作再現：透過整合機器人操作數據，UniSim 可模擬精細的手部操作動作，並準確回應連續的控制指令，支持強化學習策略的高效訓練。
• 零射性能評估：以 UniSim 訓練的視覺—語言策略及強化學習代理，在多項真實場景任務中皆展現良好的轉移能力，無需額外真實環境微調即可部署。
• 跨任務智能提升：使用 UniSim 模擬生成的訓練資料，影像影片說明（video captioning）模型在理解與生成品質上都有顯著提升，顯示模擬體驗能促進多樣化智能應用。

對 AI 領域的深遠影響

此研究不僅提供了一個能夠跨越視覺、語言和動作控制三大資料域的通用真實世界互動模擬框架，更為人工智慧在以下方面帶來極具潛力的推動效果：

• 促進多模態互動智能研究：UniSim 展現了整合多元資料訓練生成模型的可能性，使 AI 不再是被動產生內容，而是能主動回應並模擬複雜多變的交互過程，促進更自然的代理人智能。
• 推動機器人與自動化系統的實用部署：擁有真實感且具備行為反饋的模擬環境，能有效降低機器人在真實世界中試錯的風險與成本，並加速強化學習與策略學習的效率和安全性。
• 豐富生成模型的應用場景：除了遊戲與娛樂以外，UniSim 可用於提升視覺語言理解、視頻內容摘要、仿真教學、智能監控甚至遠端操作等多元領域，擴大 AI 在現實場景的影響力。
• 引領通用智能模擬走向現實：本研究的通用性與多來源融合思維，為往後研發跨任務、多智能代理互動、以及仿真與現實無縫結合系統奠定了技術和理念基礎。

總結而言，Yang 等人發表的《Learning Interactive Real-World Simulators》以其創新的多模態數據融合方法和生成式模擬模型，實現了前所未有的真實世界互動模擬能力，不僅加速了智能代理的培育，也極大拓展了 AI 模擬環境的深度與廣度。這份獲得 ICLR 2024 傑出論文獎的作品，代表了生成模型與機器人訓練技術融合的嶄新方向，值得 AI 研究者與工程師長期追蹤與深入探索。

---

論文資訊
📄 Learning Interactive Real-World Simulators
👥 Yang, Du, Ghasemipour, Tompson, Kaelbling, Schuurmans, Abbeel
🏆 ICLR 2024 · Outstanding Paper
🔗 arxiv.org/abs/2310.06114