世界模型应如何评估？南京大学团队发布「世界模型」评估立场论文

最近，“世界模型”这个词的热度有点高。机器人、自动驾驶、视频生成、具身智能……这些领域都在用，不同的系统层出不穷，演示形式也越来越花哨，评价指标更是五花八门。但热闹归热闹，一个最基础的问题反而被推到了台前：当一个模型被贴上“世界模型”的标签时，我们到底在评价它的什么能力？

南京大学人工智能学院团队最近发布的一篇综述性立场论文，就是冲着这个问题来的。论文直接点明了核心：对于面向具身智能和机器人决策的世界模型，评价的重心应该落在它能否预测行动后果、能否判断策略好坏、以及能否切实支持规划和优化上。视频逼不逼真、画面流不流畅、语义对不对得上，这些当然重要，但更适合作为基础诊断和辅助指标，而不是终极裁判。

论文标题：How Should World Models Be Evaluated for Embodied Decision-Making? A Decision-Making-Centric Position

关于「世界模型」这个标签的扩张，现在已经到了什么程度？

也就是两年前，在AI研究的语境里，提到“世界模型”，大家首先想到的还是那些服务于控制和规划的环境模型。系统在行动前，得先在内部推演一把：如果执行这组动作，接下来会发生什么？然后，再根据这个推演结果去做策略评估、路径规划和决策优化。

但最近，随着生成模型、视频模型和具身大模型的发展，“世界模型”的覆盖范围一下被拉得很宽。今天，这个名号可以指向很多种不同的技术对象：有的侧重以动作为条件的环境动力学建模，有的强调未来视频的生成，有的把模型当成可交互的神经模拟器来用，有的专注于在隐空间里做表征预测，还有的工作则把世界模型当作数据合成引擎，或者可执行的规划器。

这些方向彼此相关，也各有各的任务。概念的扩展带来了研究活力，但也让“世界模型”成了一个高度宽泛的标签。同一个词覆盖了这么多类模型，不同论文里提到的“世界模型”，其扮演的角色和承担的功能差异巨大，评价方式自然也就跟着分化开来。这个定义的边界，确实需要好好厘清。

核心问题：评估证据，能不能撑得起能力主张？

这篇论文最值得注意的工作之一，就是把当前文献中常见的几类“世界模型”能力主张拆开，一个个摆到桌面上看。团队指出，目前相关研究通常会提出6类能力主张：

• 预测未来观测结果
• 评估不同策略的表现
• 支持策略优化
• 帮助生成可执行规划
• 生成有价值的训练数据
• 提供足以支持决策的隐式表征

这些主张之间有联系，但差异也相当明显。能生成可信视频，和能支持策略评估，这是两个不同层面的能力。能完成语义对齐，和能承受优化器反复搜索带来的分布偏移，也不是一回事。论文强调，评价的关键在于让评估证据和能力主张保持对齐。模型声称自己服务具身决策，那就得拿出更贴近决策过程的评估证据来。

当前评估实践里，感知指标占了多大比重？

论文系统梳理了近期大量代表性工作后发现，目前世界模型研究中最常见的评估内容，主要集中在以下几个方向：

• 生成视频的真实感和美观度
• 与真实未来轨迹的像素级或感知级相似度
• 对语言指令的理解和语义一致性
• 对物理规律的表面遵循程度
• 最终任务成功率

这些指标当然有用，能帮我们快速了解模型生成质量怎么样、条件控制好不好、基本任务上能不能跑通。但论文同时指出，如果研究目标是落在具身决策上，光靠这些指标，还不足以完整支撑结论。

决策系统需要回答的问题，要具体得多：同一段历史下，动作一旦改变，任务相关的结果会怎么变？模型对成功、失败、奖励和进度的判断，到底可不可靠？当模型被用来比较策略、规划行动，甚至参与优化时，它给出的结论和真实环境之间，到底有多大偏差？

换句话说，具身决策关心的是行动带来的后果，是闭环系统中的有效性，是长期回报和策略的排序。和这些问题最接近的评估方式，并不集中在视觉层面。

提出7级评估阶梯，把证据强度摆上同一张图

为了让不同的评估目标能够更清晰地放在同一张图谱里，论文提出了一个从L0到L7的“世界模型评估阶梯”。这个框架覆盖了从表面生成质量到真实决策价值的不同层次：

• L0：视觉合理性。
  关注生成结果看起来是否真实。

• L1：已记录未来预测。
  关注模型对日志轨迹未来片段的预测能力。

• L2：语义对齐。
  关注是否符合指令、任务和场景语义。

• L3：物理合理性。
  关注是否满足基本物理和几何一致性。

• L4：动作可控性与干预保真。
  关注动作变化能否引起正确的任务相关变化。

• L5：奖励、价值与结果保真。
  关注是否能准确预测成功率、奖励和进度。

• L6：策略评估与排序。
  关注模型对候选策略优劣的判断是否与真实环境一致。

• L7：规划与优化效用。
  关注模型进入规划器或强化学习闭环后，能否真正提升决策质量。

这套阶梯的意义在于，它把世界模型相关的评估证据，放在了可区分、可对照的位置上。低层级指标为研究提供了重要的诊断信息，而高层级指标则更直接地对应着具身决策的价值。对于机器人、自动驾驶、智能体规划这些任务，L4到L7提供的评估证据强度更高，也更接近模型在真实系统中的作用方式。

生成未来画面，和支持行动决策，是两码事

论文反复强调的一个观点是：生成质量和决策价值之间，并不存在天然的等价关系。一个模型可以生成非常逼真的未来视频，但可能在动作干预时表现迟钝，无法准确反映动作变化带来的后果；另一个模型，即便画面不那么华丽，但只要它能比较稳定地预测任务相关变量、成功信号和策略优劣，它依然可能在规划中发挥出更高的价值。

这个判断，其实延续了有模型强化学习中的经典认识。早期研究就已经指出，单步预测精度往往不能稳定地代表控制性能。而当前生成式世界模型的研究，在很多场合又重新遇到了同样的问题：能够贴近观测分布、生成观感良好的未来，并不等于能够支撑起可靠的决策。

论文把这种现象概括为一种“能力主张与评估证据之间的落差”，并认为这是今天世界模型讨论中，最值得正视的部分。

更重要的是，模型在闭环里的分量

这项研究的意义，并不局限于学术讨论。对于产业界、技术管理者和投资人来说，它提供了一套更贴近真实价值的观察框架。

在很多应用场景里，世界模型承载的任务非常明确：为机器人提供行动前的内部推演，为自动驾驶系统提供风险预估，为具身智能体提供规划和策略筛选能力。这类系统一旦进入真实环境，性能表现就取决于几个关键问题：模型是否真正理解了动作与后果之间的关系？能否在长时程任务中保持稳定？能否在分布变化和策略变化下继续有效？能否避免被优化过程“带偏”？

从这个角度看，世界模型的技术壁垒，更多体现在以下几个方面：

• 对干预动作的敏感性与准确响应
• 对任务结果和回报信号的长期保真
• 对不同候选策略的可靠排序
• 在优化闭环中的稳定性与抗“漏洞利用”能力
• 在分布外场景中的不确定性表达和风险控制能力

这类能力，往往决定了模型进入产品与系统后的真实表现，也决定了它在工程部署中的可依赖程度。

论文提出了一套更贴近具身决策的评测协议

在梳理问题的同时，论文进一步提出了一套“以决策为中心”的评估框架和基准协议。其核心思想包括：

首先，研究者需要明确声明模型的“决策契约”——即模型面向什么任务家族、什么策略类型、什么动作接口、什么时间跨度，以及它具体服务于预测、评估、规划还是优化。

在这一前提下，再开展更具针对性的评估。具体来说，论文建议评测中重点纳入以下内容：

• 干预式动作保真测试：
  固定历史条件，改变动作分支，观察模型是否给出正确的任务相关变化。

• 闭环策略 rollout 评估：
  让策略直接在模型内运行，检查闭环行为与真实环境的一致性。

• 奖励与成功率校准：
  衡量模型对奖励、进度和成功概率的预测是否可信。

• 策略排序一致性：
  比较模型内评估的策略排序与真实环境中的策略排序。

• 优化增益评估：
  固定优化预算后，检验模型是否带来真实可复现的性能提升。

• 可利用性与不确定性评测：
  衡量模型是否容易被优化器找到虚高方案，以及模型的不确定性表达是否有助于风险控制。

论文特别提到一个经常被忽视、但对工程应用却非常关键的问题：优化器会主动去搜索模型中的“高估区域”。一旦世界模型在这些区域给出错误乐观的判断，系统在模型内可能表现得十分优异，但落到真实环境中，却会出现明显的落差。对于具身智能来说，这类偏差直接影响决策的可靠性。

作者们并没有回避现实中的约束。真实机器人实验昂贵、复现困难、环境重置成本高，大规模干预测试并不容易完成。为此，论文给出了一套“最小可行”报告方案，建议真实机器人工作至少补充3类证据：

• 少量重置匹配的动作分支实验，用于检验动作改变后的结果变化。
• 几组强弱差异明显的固定策略，用于测试成功率校准和策略排序。
• 对模型内高分轨迹进行执行验证，观察其真实落地表现。

这组要求，既保持了现实可行性，也把评估从“生成得像”推进到了“决策上是否可信”的层面。

为世界模型建立了一套更清晰的观察坐标

从论文整体来看，这项研究完成了三件事情：

第一，它系统梳理了当前“世界模型”文献中，实际在测什么。

第二，它指出了不同证据所能支撑的主张边界。

第三，它给出了一套可执行的评估框架，把具身决策场景中真正重要的问题，变成了可报告、可比较的指标。

在“世界模型”持续成为热点词汇的当下，这篇论文提供了一种更稳健的技术视角。它将关注点重新拉回到行动、后果、策略和闭环性能本身，提醒研究和产业界在评价相关系统时，能够看到生成质量之外，更深一层的决策能力。

结语

对于面向具身决策的世界模型，真正有分量的证据，来自模型对行动后果的把握，来自它对策略优劣的判断，来自它在规划与优化中的实际表现。

视觉质量、语义一致性和物理合理性，构成了重要的基础，也是系统可解释性和可视化能力的一部分。但要进一步走向真实世界的应用，评估的重心自然会落在干预、闭环、长时程和策略优化这些环节上。

南京大学团队的这篇立场论文，为当前的世界模型研究提供了一套更清晰的尺度。对于学术界，它有助于校正研究问题和评估目标；对于产业界和投资人，它提供了识别技术成熟度与长期价值的更可靠参照。世界模型的意义，最终还是要体现在它能否帮助智能系统形成对环境演化的有效把握，并在复杂任务中持续产出高质量的决策。