Matrix -Game3.5 - 昆仑万维开源的实时流式交互世界模型

Matrix-Game3.5 是什么

最近，昆仑万维黎曼动力团队开源了一个叫 Matrix-Game 3.5 的实时流式交互世界模型，这玩意儿在圈子里引起了不小的震动。简单来说，它基于 Patch Memory 和 Warped PRoPE 技术，实现了三维空间级别的长期记忆和几何一致性建模。最厉害的是，它能在单卡 GPU 上以 720P/20FPS 的规格实时生成画面，并且支持分钟级的场景回溯——你之前探索过的角落，回头再去看，一草一木都还在。如果你觉得这只是一个游戏引擎，那就太小看它了。它的野心是成为通用物理世界模拟的开源基础设施，为机器人训练、自动驾驶仿真和具身智能研究提供底层支持。

Matrix-Game3.5 的主要功能

• Patch Memory 长期记忆
  ：把历史画面切分成三维空间坐标下的图像块（Patch），然后按空间位置检索重组。这解决了物体重现和场景漂移的老大难问题——物体重现得分直接突破了此前行业 0.6 的上限。

• PRoPE + Warped RoPE 几何编码
  ：将相机投影矩阵编码融入 Transformer 的时空位置表示，让模型能感知相机的旋转、平移和投影关系，从而实现精准的视角控制和几何一致性。

• 动静解耦记忆
  ：静态场景由 Patch Memory 维护，而动态主体则通过轻量级的 Reference Token 保持身份一致性。这样移动物体就不会污染记忆，避免出现重影。

• 实时流式生成
  ：通过蒸馏把采样步数压缩到 3 步，再加上分块因果推理、KV Cache、INT8 量化和 VAE 结构化剪枝，最终实现单卡 GPU 上 720P/20FPS 的实时生成。

• 自动化数据管线
  ：构建了三种数据系统——Unreal-Gen（虚幻引擎）、AAA 游戏管线、互联网视频管线，产出了 500 万+高质量视频切片、1 万+小时训练数据，覆盖 1200+ 游戏场景。

• NPC 交互与开放世界泛化
  ：支持文本驱动的世界生成、角色动作控制，以及多智能体协同。

Matrix-Game3.5 的技术原理

• 统一几何感知记忆框架
  ：PRoPE 把相机位姿编码成相对位置码，不引入额外可学习参数；Warped RoPE 则重新计算历史 Patch 在当前视角下的时空坐标，实现记忆复用时的坐标对齐。

• 渐进式蒸馏
  ：分两阶段把双向 DiT 蒸馏成因果生成器——先用 Perceptual Flow Matching 获得高质量少步因果初始化，再通过 Self-Rollout DMD（分布匹配蒸馏）在自回归轨迹上训练，配合条件课程逐步蒸馏无分类器引导、相机控制和记忆条件生成。

• 轻量化可插拔架构
  ：核心交互功能（PRoPE、Patch Memory、动静解耦）都不新增参数，以模块化插件形式适配不同视频基础模型。

如何使用 Matrix-Game3.5

• 下载模型
  ：通过 GitHub（https://github.com/Riemann-Dynamics/Matrix-Game-3.5）或 HuggingFace 获取权重和推理代码。

• 部署环境
  ：准备一张支持 CUDA 的 GPU，安装依赖后加载模型。

• 输入控制
  ：可以用键盘 WASD 移动、鼠标控制视角，也可以输入文本提示或相机轨迹来生成交互世界。

• 实时交互
  ：模型以 20FPS 流式输出后续帧，支持分钟级连续探索，而且不会丢失场景一致性。

Matrix-Game3.5 的核心优势

• 长时序一致性
  ：首次在开源方案中系统性解决了世界模型的分钟级记忆瓶颈。镜头往返重访时，场景元素能保持完全一致——这可不是简单的事。

• 实时可交互
  ：从离线视频生成器升级成了可玩的活世界，支持键盘/鼠标实时操控，延迟低到了可玩级别。

• 开源生态
  ：核心架构完全开源，GitHub 和 HuggingFace 上都能找到。已经被 DiT 作者谢赛宁团队（Solaris）、NVIDIA 以及 Adobe 等引用为基准。

• 零参数增量设计
  ：不堆参数、不破坏原始视频分布，保留了基础模型原生开放内容生成能力。

Matrix-Game3.5 的项目地址

• 项目官网
  ：https://matrix-game-v3-5.github.io/

• GitHub 仓库
  ：https://github.com/Riemann-Dynamics/Matrix-Game-3.5

• HuggingFace 模型库
  ：https://huggingface.co/RiemannDynamics/Matrix-Game-3.5-Base

• 技术论文
  ：https://matrix-game-v3-5.github.io/paper/Matrix-Game-3.5.pdf

Matrix-Game3.5 的同类竞品对比

维度	Matrix-Game 3.5	Google Genie 3
开源状态	核心架构完全开源	闭源
分辨率	720P	720P
实时帧率	20 FPS（单卡）	实时
交互时长	分钟级	数分钟
记忆机制	Patch Memory（三维空间块检索）	未公开细节
控制方式	键盘/鼠标/相机轨迹/文本提示	导航指令+可提示世界事件
参数增量	几乎零新增参数	未公开
数据管线	自研三类自动化管线（UE5/3A/互联网）	基于 Street View 等谷歌数据
生态引用	被谢赛宁团队、NVIDIA、Adobe 引用	行业标杆

Matrix-Game3.5 的应用场景

• AI 游戏引擎
  ：替代传统游戏引擎实时生成可交互开放世界，大幅降低 3A 游戏开发成本。

• 机器人虚拟训练
  ：作为人形机器人或机械臂的虚拟训练沙盘，支持低成本海量场景试错和长时序任务规划。

• 自动驾驶仿真
  ：构建符合真实物理规则的交通场景数字孪生，用于端到端驾驶策略训练。

• 具身智能研究
  ：为具身 Agent 提供可交互的物理世界模拟环境，支持动作-状态联合训练。

• XR/元宇宙内容生成
  ：实时生成沉浸式虚拟空间，支持用户自由探索与内容创作。