NVIDIA 推出适用于无人驾驶出租车的 Alpamayo 2 Super 开放推理模型
先提炼几个关键看点,这样你读起来更清晰:
· NVIDIA Alpamayo 2 Super 是一个拥有320亿参数的视觉-语言-动作推理模型(Reasoning VLA),它能够在完整的驾驶堆栈中完成推理、规划与行动,为更安全、可规模化的L4级自动驾驶开发提供支撑。
· 配套推出的AlpaGym,是一个高吞吐量的闭环强化学习框架,让模型在真正上路之前,先在仿真环境里通过实际驾驶决策的后果来训练自己。
· 还有OmniDreams,一个全新的生成式世界模型,专门用来生成高度逼真的闭环驾驶场景,帮助开发者大规模仿真那些极其罕见的长尾场景。
· 最后,NVIDIA还带来了一组“物理AI智能体技能”,其中由Omniverse NuRec驱动的神经重建技术,能把现实世界的车队数据重建为逼真的3D场景,并且能适配不同的传感器配置。
NVIDIA GTC 台北 —— 2026 年 6 月 1 日——
除了这款核心模型,NVIDIA同时发布了一整套新工具、模型和智能体技能,它们串联成了一根从现实世界数据采集、闭环训练到车端部署的完整流水线。这里面包括我们前面提到的AlpaGym、OmniDreams,以及全新的Omniverse NuRec模型。
Alpamayo 2 Super的价值在于,它让开发者不必从零开始搭建核心的自动驾驶基础设施。它能实现接近人类的感知、推理和行动能力,同时提供了可解释性——这对于安全验证以及与监管机构的协作来说,至关重要。
再看训练部署这一侧。AlpaGym框架提供了一个闭环强化学习平台,让模型在真正上路之前就能“学开车”。而OmniDreams作为生成式世界模型,则专注于生成逼真的闭环驾驶场景,让开发者可以大规模复现那些靠路测很难遇到的“长尾”情况。
为了进一步提升开发效率,NVIDIA正在为所有辅助驾驶开发工具配备“物理AI智能体技能”。举个例子,由Omniverse NuRec驱动的神经重建技能,可以从真实的车队驾驶场景中提取信息进行仿真,然后大规模生成合成训练数据。
NVIDIA创始人兼CEO黄仁勋对此的表态很有意思:“Alpamayo标志着汽车从‘单纯驾驶’迈入‘安全推理’。只有NVIDIA能够提供开放模型、仿真环境、现实世界数据以及智能体技能,支持全球无人出租车生态系统开发出理解边缘场景、解释自身决策、赢得公众信任,并安全地规模化部署到数百万台车上的L4级能力。”
Alpamayo 2 Super 现已支持基于推理的自动驾驶
Alpamayo系列这次通过Alpamayo 2 Super,把参数规模从100亿一举扩展到了320亿。但升级远不止于参数变大。它不只是生成轨迹,而是能够在完整的驾驶堆栈中进行推理、规划和行动。凭借涵盖推理、自动标注、场景理解、模型评判以及知识蒸馏等多任务处理能力,它相当于为可扩展的L4级自动驾驶提供了一个基础模组。
我们来拆解一下它的核心特性:
·
3倍参数规模:
·
全景感知:
·
元动作:
·
推理自动标注与2D定位:
·
优化的因果链和轨迹质量:
这些技术升级叠加在一起,让Alpamayo 2 Super成为NVIDIA目前功能最强大的开放式驾驶基础模型。作为教师模型,它还可以被蒸馏成紧凑型模型,最终运行在NVIDIA DRIVE Hyperion平台的车载加速计算核心——DRIVE AGX Thor上。
随着教师模型从100亿参数一路升级到320亿参数,所有基于Alpamayo构建的下游自动驾驶堆栈,都可以通过这一次发布,直接获得更高质量的推理和感知能力,而不需要各家制造商从头再来。
顺便提一句,Alpamayo刚刚获得了COMPUTEX Best Choice Award(最佳选择奖)车辆技术和智能座舱类别奖。自发布以来,它的下载量已经接近40万次。而且,这个开放平台还提供了后训练脚本,研究者和开发者可以把自己的数据集、场景和驾驶策略与模型进行适配。
Alpamayo 2 Super预计于今年夏天开放获取,届时推理代码会在GitHub上发布,模型权重则通过Hugging Face提供。
AlpaGym 实现闭环的训练和部署
NVIDIA同时开源了一个高吞吐量的闭环强化学习框架——AlpaGym。
这里的关键区别在于:开环训练是根据记录的数据评估模型,生成单轮动作;而AlpaGym的做法是,让模型在AlpaSim中经历连续的“决策-观察”循环。每一次刹车、转向和导航选择,都会对周围环境产生影响,模型必须应对这个变化后的环境。
这种做法的好处是显而易见的。AlpaGym能够暴露那些静态数据集所忽略的复合错误和边缘故障,而且模型能从自己的错误中学习。它基于AlpaSim微服务仿真栈和Omniverse NuRec构建,实现了一个高效、可扩展的闭环强化学习平台,把驾驶性能推向了新高度。结合物理AI辅助驾驶数据集,Alpamayo实际上提供了一条从开环预训练到闭环优化的完整路径。
此外,NVIDIA还把因果链自动标注流水线也以开源形式发布在了GitHub上。它能从原始驾驶片段中自动生成基于决策且具有因果关联的因果链标签,整个过程完全不需要人工标注。这为大规模训练具身推理模型,提供了其所需的因果训练数据基础。
NVIDIA 助力辅助驾驶实现全新物理AI智能体技能
为了支持基于推理的辅助驾驶开发,NVIDIA以Agent Toolkit的形式,推出了一系列全新的“物理AI智能体技能”。这些技能的作用是指导开发者及其编码智能体,完成大规模构建和验证辅助驾驶系统所需的仿真、数据生成和闭环训练工作流。
具体来说,包括由Omniverse NuRec库驱动的神经重建技能、用于生成逼真场景的OmniDreams技能,以及用于闭环强化学习的AlpaGym技能。更多技术细节,可以观看NVIDIA CEO黄仁勋在GTC台北大会上的主题演讲。