具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了
机器人也能学Skill了。
英伟达最新放出的这套系统,叫
ASPIRE
Agentic Skill Programming through Iterative Robot Exploration

听起来很抽象?其实可以把它理解成一个机器人版的Coding Agent。就像GPT能把你的工作记录提炼成可复用的skill一样,ASPIRE也会把机器人在执行任务时的失败和修复,沉淀成以后能直接调用的经验。区别只在于,它review的不是代码行,而是机器人的
操作全过程
每次机器人执行任务,ASPIRE都会把感知、导航、抓取、碰撞、运动规划这些环节全部记录下来。背后调用的GPT或Claude,则会像一个研究员那样去分析:问题出在哪儿?然后迭代程序。如果新程序跑通了,这次沉淀下来的经验就会被写进技能库。
这样一来,机器人就能通过写代码、看执行轨迹、修程序、沉淀技能,持续地自我进化。
英伟达机器人主管Jim Fan甚至认为,这代表了一种全新的
持续学习范式
- 训练,从梯度下降变成了不断打磨技能(Skill Refinement);
- 训练好的模型,对应的不再只是一堆浮点权重,而是一个持续扩展的机器人技能库(Sensorimotor Skills);
- 分布式训练,则变成了一群Agent各自练习不同技能,再把经验汇总进同一个技能库。
训练出来的,不一定是权重
这里有必要先聊点背景。
ASPIRE让机器人用代码执行任务,失败后就查看多模态执行轨迹,再修改程序,最后把修好的经验存进一个不断变厚的技能库(Skills Library)。

这个所谓的Skill,本质上是喂给大模型的一段上下文,但它沉淀的是一套经过验证的代码修复经验(Code Repair Pattern)。它告诉机器人:以后遇到某类问题,你该这样修改控制程序。

举个例子。机器人准备拿起一台收音机,目标识别没出问题,但就是无法靠近。Agent分析后发现,原因不是识别错了,而是规划器给出的目标点都落在了障碍物的碰撞缓冲区内。于是,ASPIRE就在这次经验的基础上,总结出一条新Skill:
如果遇到这种规划失败,就尝试从45°、90°、180°等不同角度重新接近目标,直到找到一条无碰撞路径。
以后再有类似场景,不管目标是收音机、微波炉还是别的家具,这条经验都能直接拿来用,不需要重新试错。
说到这儿,你可能会觉得奇怪:机器人训练,不都是搞数据、梯度下降、模型权重、真机采集、仿真到现实迁移那一套吗?怎么突然变成攒skill了?
这就必须提一个近期很火的范式——
Code as Policy
但过去的Code as Policy有两个硬伤。第一,机器人失败了,系统通常只知道“任务没完成”,却不知道到底是感知错了、抓取没抓稳、路径规划撞了,还是恢复动作出了问题。第二,也是更关键的,
它不长记性
所以Jim Fan才会说:
(有了ASPIRE)当机器人完成第100个任务时,它终于不再像完成第1个任务时那样一无所知。

整个过程,跟人类机器人工程师的做法如出一辙:程序失败后,回放执行过程,看感知结果,分析运动轨迹,判断到底是哪个环节出了问题。修好之后,把经验记下来。下次再遇到桌边物体、抽屉把手、窄空间导航,就不会再从零开始。ASPIRE做的,就是把这套经验积累机制交给Agent。它不只是让大模型写机器人代码,更让大模型在执行环境里
反复试、反复看、反复修
所以,在ASPIRE里,训练已经不只是梯度下降。训练过程变成了Skill Refinement;训练产物,也不只是模型权重,而是一个机器人不断积累、不断成长的Skills Library。
三阶段pipeline
这套思想在论文中被实现为三阶段的pipeline。

首先是
机器人执行引擎
接下来是
技能库

官网技能库里能看到很具体的条目:比如SAM3文本提示怎么写、桌边物体要多角度接近、抽屉把手怎么过滤假检测、平面物体推动时该用哪种motion primitive。这些不像传统模型权重,它们更像是机器人程序员的踩坑笔记。
最后是
进化搜索
实验验证
论文在三个经典机器人基准上做了测试:
LIBERO-Pro
Robosuite
BEHA VIOR-1K
例如,在Robosuite的双臂物体交接(Bimanual Handover)任务中,ASPIRE将成功率从
20%提升到了92%

在泛化能力方面,研究先在LIBERO-90上不断积累Skill Library,再直接迁移到从未见过的LIBERO-Pro Long长任务,中间没有针对新任务继续训练,也没有更新技能库。

结果很直观:随着技能库越来越丰富,机器人在新任务上的成功率也一路提升,从几乎不会做,到最终达到31%。换句话说,Skill Library越厚,机器人越不像一个新手。
作者介绍
在技术博客的最后,英伟达也公布了完整的作者名单。

依旧是GEAR团队的老面孔:Jim Fan、朱玉可、Guanzhi Wang、石冠亚等人。排在最前面的三位作者为共同贡献。其中,Runyu Lu目前是密歇根大学博士二年级学生,正在GEAR实习;Yuubo Wu来自伊利诺伊大学厄巴纳-香槟分校(UIUC),Ethan Kou则来自加州大学伯克利分校,目前还是一名本科生。
值得一提的是,就在昨天,英伟达也宣布扩大国内机器人团队招聘,在北京、上海、深圳三地开放了不少岗位,覆盖具身智能、仿真、机器人部署和解决方案架构等方向。

感兴趣的同学们,准备简历吧!