Xiaomi-Robotics-U0 - 小米推出的统一具身合成模型

什么是Xiaomi-Robotics-U0

Xiaomi-Robotics-U0是小米推出的380亿参数统一具身合成模型。它基于世界基础模型持续训练，联合优化了五种核心任务：文生图、图像编辑、具身场景生成、具身迁移及具身视频生成。作为首个支持跨多种机器人形态的高质量多视角场景生成模型，它在具身场景生成与迁移的人工评估中超越了GPT-Image-2.0，并在World Arena具身视频生成榜单中排名第一。此外，它还能将π0.5在真实世界操控任务的分布外成功率从36.9%提升至63.2%。

Xiaomi-Robotics-U0的主要功能

• 文生图生成
  ：支持高质量文本到图像合成，能很好地保留基础世界模型的视觉知识。

• 图像编辑
  ：支持Any-to-Image编辑，包括相机控制、时间控制、结构提取等细粒度操作。

• 具身场景生成
  ：根据机器人形态和场景描述，生成多视角一致的初始观察画面。

• 具身迁移
  ：在保持多视角一致性和交互动态的前提下，实现跨场景的结构化可控迁移。

• 具身视频生成
  ：支持零样本多视角具身视频生成，能将静态场景合成为时序连贯的操作视频。

Xiaomi-Robotics-U0的技术原理

• 统一自回归框架
  ：基于EMU3.5初始化，采用IBQ Tokenizer进行16×16空间压缩，将所有模态统一为离散词表进行next-token预测。

• 联合持续训练
  ：在通用域和具身数据集上，使用统一自回归目标进行持续训练，避免因使用有限机器人数据导致的泛化能力损失。

• FlashAR+ 推理加速
  ：引入反对角线并行解码的垂直预测头，结合vLLM优化，使1024×1024分辨率图像生成速度提升82.9倍。

• 结构化控制分解
  ：将场景解耦为工作空间、任务对象、无关对象、光照、背景五个独立控制维度，支持可扩展的具身视频增强。

• 子任务-子目标交错学习
  ：通过HDBSCAN聚类对机器人轨迹进行子任务分解，生成交错的图像-文本序列，捕捉长程任务进展和细粒度交互动态。

微信关注回复“

”，加入

如何使用Xiaomi-Robotics-U0

• 环境配置
  ：访问小米机器人官网下载模型权重与推理代码，配置支持CUDA和vLLM的高性能GPU环境。

• 模型加载
  ：基于EMU3.5架构初始化并加载Xiaomi-Robotics-U0的380亿参数检查点，统一调用IBQ Tokenizer处理多模态输入序列。

• 文生图生成
  ：输入文本描述，通过标准自回归next-token预测直接生成1024×1024分辨率的高质量图像。

• 图像编辑
  ：提供一至三张参考图像配合文本指令，模型基于Any-to-Image能力执行相机控制、时间控制或结构提取等细粒度编辑。

• 具身场景生成
  ：输入机器人形态描述与结构化场景文本，模型输出严格满足多视角一致性和几何连贯性的初始观察画面。

• 具身迁移
  ：给定当前多视角观察与目标场景描述，模型在保持交互动态的前提下生成迁移后的多视角RGB图像。

• 具身视频生成
  ：提供初始观察帧与任务指令，模型通过自回归展开生成15至25帧时序连贯的机器人操作视频。

• 推理加速
  ：启用FlashAR+垂直预测头与vLLM优化，实现1024×1024分辨率下图像生成速度提升82.9倍。

• 数据引擎应用
  ：将生成的具身场景或视频序列直接输入下游机器人策略网络，用于提升真实世界操控任务的分布外泛化能力。

Xiaomi-Robotics-U0的核心优势

• 统一性
  ：首个将基础图像/视频生成与具身生成统一在单一框架内的模型，避免后训练导致的视觉知识遗忘。

• 多视角一致性
  ：支持跨多种机器人形态的高质量多视角场景生成，严格满足几何连贯性和相机标定约束。

• 可控迁移
  ：引入结构化控制机制，可在保持交互动态的前提下对工作空间、背景、光照等维度进行细粒度编辑。

• 数据引擎能力
  ：生成的具身场景可直接展开为时序连贯的操作视频，为下游策略学习提供可扩展的合成轨迹。

• SOTA 性能
  ：在具身场景生成与迁移上超越GPT-Image-2.0，在World Arena具身视频生成排名第一。

Xiaomi-Robotics-U0的项目地址

• 项目官网
  ：https://robotics.xiaomi.com/xiaomi-robotics-u0.html

• HuggingFace模型库
  ：https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0

• arXiv技术论文
  ：https://arxiv.org/pdf/2607.11643

Xiaomi-Robotics-U0的同类竞品对比

定位

• Xiaomi-Robotics-U0
  ：统一具身合成世界模型，专注生成可控数据与场景。

• π0.5
  ：端到端视觉-语言-动作策略模型，专注直接控制机器人。

参数规模

• Xiaomi-Robotics-U0
  ：380亿参数自回归Transformer。

• π0.5
  ：采用VLM主干 + Action Expert分层架构。

核心能力

• Xiaomi-Robotics-U0
  ：多视角场景生成、具身迁移、视频生成、图像编辑。

• π0.5
  ：端到端机器人控制、家庭泛化任务执行。

架构

• Xiaomi-Robotics-U0
  ：基于EMU3.5初始化，统一next-token预测。

• π0.5
  ：预训练离散动作token，后训练流匹配生成连续动作。

数据引擎

• Xiaomi-Robotics-U0
  ：可直接生成具身场景与视频，将π0.5分布外成功率从36.9%提升至63.2%。

• π0.5
  ：本身不具备数据生成能力，依赖真实世界采集。

多视角一致性

• Xiaomi-Robotics-U0
  ：原生支持跨多种机器人形态的多视角场景生成与几何连贯迁移。

• π0.5
  ：作为单视角策略模型，不直接处理多视角合成。

视觉知识保留

• Xiaomi-Robotics-U0
  ：联合训练通用生成与具身任务，VLM基准保持高分（ERQA 40.8、SEED 78.6）。

• π0.5
  ：VLM基准得分较低（ERQA 0.0、SEED 21.5），视觉理解受损。

Xiaomi-Robotics-U0的应用场景

• 机器人数据合成
  ：为真实机器人训练生成大规模、多样化的合成操作轨迹，解决真实数据收集成本高、场景受限的问题。

• 跨形态场景迁移
  ：将同一操作任务从一种机器人形态（如单臂）迁移到另一种形态（如双臂），保持场景一致性。

• 仿真环境构建
  ：快速生成高质量多视角机器人操作场景，用于仿真平台训练和策略验证。

• 操作策略增强
  ：利用生成的分布外数据提升机器人策略的泛化能力，如将π0.5的成功率提升26.3%。

• 具身智能研究
  ：作为世界基础模型，支持长程任务规划、子任务分解和交互动态预测等基础研究。

Xiaomi-Robotics-U0通过统一的多模态生成框架，为机器人领域提供了强大的数据生成和场景迁移能力，显著提升了机器人策略的泛化性能，是具身智能领域的重要进展。如需进一步探索，可访问其项目官网或查阅相关技术论文。