上海AI Lab最新综述：一文读懂世界模型！

世界模型，正成为人工智能（AI）领域最热门也容易被乱用的概念之一。

无论是视频生成还是机器人领域，越来越多研究都在使用“世界模型”。但关于它是什么、它应该预测什么、应该如何被构建，目前学界并没有共识。

针对这个问题，上海 AI Lab 团队发表了一篇关于世界模型的综述，对此概念进行了科学定义，梳理了目前的训练方式和关键技术问题，并提出了一个发展有效世界模型的阶段性路线图。

论文链接：https://arxiv.org/abs/2607.06401

研究团队在文中指出，世界模型可能是通往物理 AGI 的关键路径，并提出了通往物理 AGI 的三位一体架构：Agent 执行任务，Evaluator 评估轨迹，World Model 吸收交互数据并生成新的任务。世界模型不只是预测未来的工具，还能让 AI 从静态数据学习走向主动交互和自我进化。

图｜三位一体架构概览。

世界模型到底是什么？

研究团队指出，世界模型是在有限计算资源约束下，对物理世界状态转移过程的压缩建模。通用物理世界模型天然表现出三个主要属性：

1. 全模态工作范围。世界模型必须具备建模所有感知模态数据的能力。它不限于文本或视觉，根本上是一种能够统一潜在表征的全模态基础模型。

2. 多维异步性。 世界模型必须能够处理多维、异步的，也就是多频率的序列数据。

3. 局部性。 由于 Agent 的感知与计算资源有限，它收集的数据通常局限于局部区域；而该区域并不封闭，仍会受到外部环境持续影响。因此，局部化建模通常可形式化为部分可观测马尔可夫决策过程，即 POMDP。

图｜世界模型的本质及其主要特性的示意图。

从功能上看，世界模型可理解为三类功能：模拟器预测状态如何变化，渲染器把状态转化为可观测结果，规划器基于预测结果选择动作。三者并非孤立模块，而是在 POMDP 的闭环决策过程中相互调用、相互更新。

渲染器：观测生成模型，把场景、历史或动作序列转化为可感知结果，如图像或视频。模拟器：承载动态的模型，预测世界状态如何演化，并保持物理、几何和物体一致性。规划器：评估反事实未来，并选择应追求的可控结果。

图｜世界模型在 POMDP 循环中的功能角色。

架构上，现有世界模型大致可分为三类：观测级模型、潜空间模型，以及 3D 增强或对象中心模型；重要趋势是走向全模态世界模型。

观测级生成式世界模型：直接生成未来像素、视频或体素，把世界建模视为高维观测合成。它们可利用大规模视频数据学习外观、运动和场景动态，生成高视觉保真度的未来。

但视觉逼真不等于物理正确。这类模型可能在长时程中破坏物体恒常性、接触关系、因果链条或场景一致性。因此，关键评估标准不只是画面是否真实，而是轨迹是否在动作、指令或场景条件下保持物理一致、因果连贯和可控。

潜空间世界模型：将高维观测压缩为紧凑状态，并在其中预测和规划。PlaNet、Dreamer 等方法通过“想象”未来轨迹，让 Agent 以较低计算成本处理长时程和部分可观测问题。

它的价值在于保留几何、对象关系、可供性和接触动态等决策相关因素，而非重建全部像素细节；其风险是过度抽象，容易丢失夹爪接触、细小障碍或物体姿态等关键线索。

3D 增强与对象中心世界模型：将世界建模从帧预测推进到结构化场景理解。其中，3D 占据和 BEV 适合空间与障碍物推理，NeRF 和 3D Gaussian 提供视角一致的几何状态，对象中心方法捕捉实体级动态与组合关系。更有前景的方向，是将空间、时间、对象和交互信息整合为共享物理表征。

但引入 3D 结构并不自动等于理解世界。模型仍可能无法捕捉可供性、因果性、任务语义或长时程交互。强世界模型应保持几何一致、时间稳定、对象明确和物理合理，并能服务下游推理、规划与控制。

统一趋势：全模态世界模型。未来统一模型需要同时理解现在、想象未来、生成动作，并整合视觉、语言、空间、动作和物理信号。面向物理 AI，世界模型不能只会理解和预测，还要能指导行动。

图｜二维分类框架：功能与架构。

世界模型的训练与学习范式

世界模型的训练与学习，可以理解为一条从经验输入到可靠行动的闭环：先从从自监督预训练、具身交互、仿真数据和物理先验中学习世界表征，再通过潜在想象和 MBRL 循环，将预测能力转化为可靠行动。

1.经验与先验输入

世界模型首先通过自监督与生成式预训练，从未标注视觉数据中学习基础表征，典型方式包括视频预测、掩码自编码、下一个 token 预测和扩散潜空间。随后，具身交互通过状态-动作-奖励数据补充动作与结果之间的关系，并可结合好奇心或内在奖励驱动探索。合成与仿真数据用于扩展长尾、危险和反事实场景覆盖，物理先验与约束则通过 PINNs、ODEs、守恒规律和接触可行性增强物理一致性。

2. 世界模型学习核心

经过经验与先验输入后，世界模型会把观测压缩为紧凑的信念状态，并学习动作条件转移先验，用来预测不同动作下的状态变化。在此基础上，模型进一步估计奖励、价值和不确定性，从而在潜空间中展开想象轨迹，为后续规划和策略学习提供依据。

3. 决策与推理接口

在决策阶段，世界模型通常嵌入 MBRL 循环：先从交互中学习动态模型，再利用该模型进行规划或策略优化。模型可以在潜空间中进行后台滚动，并结合 MPC、CEM 或 MCTS 完成规划与搜索；也可以在模型内部学习策略，如 Dreamer 的 actor-critic，或像 WAM 一样联合生成未来与动作。对于反事实推理，模型需要在同一背景下比较不同动作可能导致的结果；对于长时程任务，模型则需要借助子目标、技能和记忆机制，将复杂任务分解为更可执行的规划过程。

4. 可靠具身行动

当世界模型用于真实具身行动时，模型偏差、sim-to-real 差距、累积误差和目标错配会影响执行可靠性，也可能带来乐观或悲观偏差。因此，模型需要通过校准与自我改进循环持续修正，并借助不确定性感知的数据采集，将内部预测与真实反馈对齐。

图｜世界模型主要训练与学习范式概览。

世界模型的路线图

研究团队指出，发展一个稳健的未来物理世界模型，需要三个渐进阶段。

第一，构建统一多模态世界模型。模型需要整合图像、视频、3D 结构、状态、动作和语义推理等异步信号。统一多模态应通过渐进课程学习实现：先建立稳定图像语义，再引入视频、状态、动作和具身数据，并用紧凑潜在动作区分可控变化与背景外观。

第二，学习统一物理表征。多样模态需要被蒸馏为一个高度压缩的内部状态，使渲染、仿真和规划都能从中解码下游任务所需信息。该表征需要兼具物理 grounding、仿真就绪、几何自适应和紧凑性，并保留动态、接触、因果结构等决策相关信息。PhysGaussian 已展示早期方向，但如何学习可演化、持久且融合外观、物理与语义的紧凑状态，仍是核心挑战。

第三，扩展为基础规模交互式模拟器。未来世界模型应成为闭环、可复用环境，让 Agent 在真实执行前安全探索、评估和优化动作。这需要可控交互架构，融合力觉、触觉、接触和本体感受等物理 grounding 数据，并通过严格闭环验证，确保预测符合动作因果、长期稳定性和真实执行结果。

图｜下一代世界模型发展的阶段性路线图。

不足与未来方向

研究团队也提到，目前世界模型在真实交互、安全约束和长时程控制中仍存在短板。具体如下：

1.数据不对称

渲染器可依赖海量图像和视频学习外观，但模拟器和规划器需要更稀缺的结构化数据，如仿真资产、机器人轨迹、任务结果、触觉和力反馈。未来，世界模型仍需要普遍、非侵入、连续的真实世界交互数据反馈。

2.感知保真度与物理精度不匹配

视觉上逼真的未来，不一定物理上合理、可执行或可规划。未来，世界模型不能只追求画面真实感，还要预测可行动结果，并借助 3D 几何、接触、力、材料、任务反馈和闭环反馈持续校准。

3.累积预测误差

一步预测误差会在长时程滚动中递归放大，甚至被规划器利用，生成现实中不可执行的高价值轨迹。未来，世界模型需要降低一步误差，并让预测误差在决策时间尺度上保持有界、可校准、可控制。

4.sim-to-real 迁移

仿真与真实物理之间始终存在残差，在接触丰富、部分可观测和高维动作场景中尤为明显。未来，世界模型仍需要结合本体感受、触觉、力反馈和结构化机器人状态，并借助物理归纳偏置、状态表征与推理时自适应校正，缩小仿真到真实的差距。