LingBot-Video - 蚂蚁灵波开源面向具身智能的视频模型

LingBot-Video是什么

先说几个核心判断。LingBot-Video是全球首个面向具身智能的开源MoE视频生成基础模型，由蚂蚁灵波科技推出。从架构上看，它基于DiT+MoE，总参数量高达30B，但每次推理仅激活约3B——这意味着大容量和高效推理并不矛盾，算是把两者兼顾得相当不错。模型背后整合了7万小时的互联网及机器人数据，通过多维强化学习奖励对齐物理合理性与任务完成度。评测上，它在RBench和Physics-IQ两项榜单中都拿到了第一，生成的机器人操作与交互视频也基本符合真实物理规律。简单说，这是个能“看懂”物理世界的视频生成模型。

LingBot-Video的主要功能

• 文本/图像生成视频
  ：支持T2V、TI2V、T2I三种统一生成方式，开放世界场景和具身任务都能处理。

• 机器人动作预测
  ：能生成机械臂、人形机器人、四足机器人等各类形态的动作序列和接触状态。

• 物理仿真视频生成
  ：材料形变、流体运动、光照反射这些真实物理现象，模拟起来也毫不含糊。

• 仿真数据合成
  ：为机器人策略训练提供大规模、低成本的物理合理视频数据。

• 世界模型研究
  ：本质上可以充当物理世界模拟器，支持策略评估和动作规划。

LingBot-Video的技术原理

聊到技术原理，LingBot-Video这套系统确实有不少值得关注的设计点。

• DiT + Sparse MoE 架构
  ：模型采用Single-Stream Diffusion Transformer，统一处理视觉潜码与条件token，用MoE替代了传统的Dense FFN。总参数30B但只激活约3B，实际推理速度提升了3倍左右。128个细粒度routed experts配合共享专家，通过top-K路由捕获不同物理模式，各子任务之间也不会互相干扰。

• 数据画像引擎与7万小时具身数据
  ：除了海量互联网视频，还引入了VLA、VLN、Ego等机器人数据，覆盖灵巧操作、导航和第一视角交互。这样一来，模型就能真正学会动作与环境变化之间的内在关系，而不是只停留在视觉风格的模仿。

• 多维强化学习奖励对齐
  ：训练阶段不仅考虑了美学、prompt跟随和运动一致性，还额外加入了物理合理性与任务完成度奖励，并利用真实世界视频作为偏好信号。最终确保生成结果符合真实物理规律和机器人任务需求。

• 统一输入与3D RoPE
  ：T2I、T2V、TI2V任务都被统一为单序列token，通过多模态3D MM-RoPE将条件token与视觉token映射到非重叠时空坐标。这种做法消除了任务特定的架构需求，同时保持了空间局部性和时序顺序。

• 级联生成与稳定训练
  ：模型采用base generator加refiner的级联设计——base负责生成紧凑潜码，refiner负责提升细节。配合QK-Norm、AdaLN-Single调制和无辅助损失的序列级负载均衡策略，确保了长序列、高分辨率训练过程的稳定性。

（此处原内容包含一条微信关注与加群信息，已按规范清理。）

如何使用LingBot-Video

上手使用LingBot-Video并不复杂，按照以下步骤走就能跑起来：

• 环境准备
  ：确保本地或服务器已配置Python 3.10+和CUDA环境，显存要留够。

• 克隆仓库
  ：从GitHub拉取LingBot-Video官方代码库到本地工作目录。

• 安装依赖
  ：根据项目requirements.txt安装所需的深度学习与推理库。

• 下载权重
  ：从HuggingFace或ModelScope获取对应规模的模型checkpoint文件。

• 准备提示
  ：将文本描述、参考图像或结构化控制信号整理为模型支持的输入格式。

• 运行推理
  ：加载模型并执行生成脚本，输出具身智能或开放世界视频。

LingBot-Video的核心优势

• 全球首个开源具身视频MoE模型
  ：填补了面向机器人的开源视频基础模型的空白。

• 容量与效率解耦
  ：30B参数只激活3B，推理速度约为同规模Dense架构的3倍，适配实时交互场景。

• 物理合理性领先
  ：在RBench（0.620）和Physics-IQ Verified均排名第一，超过了Wan2.6、Seedance 1.5 Pro、Cosmos 3等竞品。

• 数据专门化
  ：7万小时机器人数据的注入，让模型真正理解了动作与环境的因果关系，而不只是视觉风格上的匹配。

• 统一任务框架
  ：T2I、T2V、TI2V单模型统一处理，多任务部署成本显著降低。

LingBot-Video的项目地址

• 项目官网
  ：https://technology.robbyant.com/lingbot-video

• GitHub仓库
  ：https://github.com/Robbyant/lingbot-video

• HuggingFace模型库
  ：https://huggingface.co/collections/robbyant/lingbot-video

• arXiv技术论文
  ：https://arxiv.org/pdf/2607.07675

LingBot-Video的同类竞品对比

目前市场上能打的选手不少，但真正能放在一起做对比的，还得是NVIDIA Cosmos 3 Super。以下从几个关键维度做个拆解。

：LingBot-Video来自蚂蚁灵波科技（Robbyant），从开源第一天起就聚焦具身智能视频生成；Cosmos 3 Super则是NVIDIA在2026年6月发布的，定位是面向物理AI与机器人训练的全模态世界模型。

：前者基于DiT的Single-Stream Sparse MoE，统一处理T2I、T2V、TI2V；后者采用Mixture-of-Transformers（MoT）双塔架构，自回归Transformer负责文本，扩散Transformer负责连续模态。

：LingBot-Video总参30B、激活约3B，实现了容量与效率的解耦；Cosmos 3 Super总参64B（Super版本），Nano版为16B，全部参数均需激活。

：LingBot-Video侧重文本、图像、视频，专注视觉生成与动作条件建模；Cosmos 3 Super则支持文本、图像、视频、音频、动作序列统一处理，支持全模态输入输出。

：LingBot-Video用了7万小时互联网视频加VLA/VLN/Ego机器人数据，注入了动作与环境动态先验；Cosmos 3 Super的底子是20 trillion tokens，包含约10亿图像、4亿真实与合成视频及环境音频，覆盖机器人、驾驶、仓储等场景。

：两者都开源了模型权重、代码和技术报告，但Cosmos 3 Super以OpenMDW 1.1协议开源允许商用，还附带合成数据集与评测基准。

：LingBot-Video得分0.620，在公开对比中排名第一；Cosmos 3 Super得分0.581，在部分评测中位列开源模型前列。

：LingBot-Video在Physics-IQ Verified评测中排名第一；Cosmos 3 Super的I2V得分为43.8分、V2V得分为59.7分，在对应榜单中达到SOTA。

：LingBot-Video的30B参数只激活3B，推理速度约为同规模Dense架构的3倍；Cosmos 3 Super的64B参数全激活，需要H100级硬件支持，不过Nano版本为更快推理做了优化。

LingBot-Video的应用场景

• 机器人仿真训练
  ：为机械臂、人形机器人生成物理合理的操作视频，替代昂贵且低效的真实数据采集。

• 仿真数据合成
  ：批量生成多样化场景与动作轨迹，用于策略预训练与数据增强。

• 世界模型研究
  ：作为物理世界预测器，支持基于想象的机器人规划与决策。

• 自动驾驶仿真
  ：生成符合物理规律的道路交互与ego视角视频，用于感知算法验证。

• 服务与制造
  ：在仓储、医疗、家庭服务等场景中模拟人机交互流程，帮助优化任务策略。