机器人崛起:具身智能的技术、商业与社会落地路线图
机器人崛起:具身智能的技术、商业与社会落地路线图
【AI&Society百人百问】是腾讯研究院联合多方发起的项目,旨在通过不同学科背景、不同领域从业者的提问与解答,促进围绕人工智能的多元、前瞻与系统化思考。项目聚焦生成式AI带来的技术、商业与社会议题,希望通过对话、研究与协同,探索智能化未来的新路径,更好发挥AI的潜力,提升社会福祉。

第一期聚焦人形机器人,邀请了5位业界嘉宾,从先前征集的“百人百问”中选择了18个问题予以解答。问题涵盖:机器人的“ChatGPT”时刻何时到来?机器人的大脑和小脑是什么?人脑和人形哪个更重要?更具通用能力的机器人出现,是否会对劳动力市场构成冲击?机器人除了能干活,能不能提供情绪价值?……以下为交流实录,保留嘉宾原意,略作整理。
技术演进:大模型如何促进机器人智能化?
1. 大模型的接入,为机器人带来哪些之前难以实现的新功能?
丁宁:
但更重要的在于,大模型的技术路线让行业建立起一个信心:Scaling Law这种方式,能够让机器对边界非常广阔、跨行业跨场景的复杂问题,形成底层理解能力。这种信心不仅仅是关于聊天。聊天的本质是基于人类理解世界所产出的语言作为语料,推演出人是怎么理解世界的,并把那种关系重构出来。这意味着,机器理解世界、理解问题的能力比以往大幅提升。
除了语言交流,更值得期待的能力是机器推理决策能力的提升。从文生文、文生图到文生视频的结果来看,它似乎真的“懂”了世界运行的规则,并基于这些规则推演可能性。那么,让它根据特定任务去理解并推演出动作,甚至在没有训练过的情况下也能基于规则生成决策——这是值得期待的。只不过这一步还没到非常理想的状态,不只是一个聊天或逻辑重构的问题,还涉及对物理世界的理解。现在我们期待具身智能的方法论,用机器或装备作为数据入口,通过更多维、更广泛的数据场景让机器理解世界更到位。到那时,机器人应对变化、处理长尾问题、跨场景跨行业跨任务的能力,会进一步提升。
总的来说,大模型做了三件事:降低使用门槛,让大家对技术路线有信心,并吸引资源进一步向这条线汇聚。这是一个非常好的现象。
2. 机器人的大脑和小脑是什么?
丁宁:
3. 机器人的“ChatGPT”时刻什么时候到来?
王鹤:
今天谈大模型,无论是大脑还是小脑的任务都足够复杂。大脑是大模型,小脑也应该是大模型。小脑会控制人形机器人全身上下五六十个自由度的高维运动。这种泛化控制目前最大的问题是数据量不够,无法驱动大模型在任何场景、任何任务下泛化执行。大脑大模型的数据来自互联网,但小脑大模型的数据在互联网上却没有机器人配套的数据。所以,要实现机器人ChatGPT时刻,关键是实现小脑大模型的能力,而小脑大模型又卡在数据这一关。
这也是我们银河通用用合成数据试图完成的重要转变。如果这一步能打通,机器人的ChatGPT时刻将是对人类技术的一次巨大革命——机器人将拥有从感知到决策到执行的全面泛化能力。一旦再配以人形这样高自由度的身体,可能在很多场景大量取代人类劳动力。目前来看,这个时间点可能离我们还有至少5到10年。
工程化难题:一年就能造出人形机器人需要做对什么?
4. 为什么双足人形机器人成为产业热点?双足的价值是什么?
陈立:
但在商业化落地场景中,还是要脚踏实地思考一些问题。比如在工厂场景中,其实并不需要双足——双足成本高,可靠性也不如轮式底盘。在这种情况下,我们更需要的是上半身的操控能力。所以商业化进程并不是一条路走到底。大部分的人形机器人公司都去做轮式底盘,但上半身一定是多自由度的手臂和多自由灵巧手去做操作。
5. “一年能造出机器人”需要做对哪些事情?有哪些行业共性难点?
陈立:
当然,研发快并不代表机器人就好,要一分为二地看。更多还是要看人形机器人未来的硬件、小脑以及大脑的泛化学习和落地能力。硬件本身的量产能力、成本把控能力、出厂一致性——如果一致性不高,每台差异很大,再用具身智能赋能时可能每一台都要调很久,不适合批量生产。
所以难点在于:做一个人形机器人本体样机难度其实不大,但做出来之后能不能用起来最重要。如果不能形成批量化订单,要考虑的问题就比较多了。人形机器人本体公司需要思考底层如何把可靠性做好。
6. 数据不足是具身智能工程化的最大障碍,如何突破数据合成和泛化难题?
王鹤:
很多人希望能用人类操作的视频和图片教会机器人干活。但目前看来,在学术上这条路走不到底。视频和图片数据能在一定程度上帮助机器人学习、提升视觉表征,但无法学会动作。为什么?因为人的身体和机器人的身体不同。即使获得人手部每一时刻张开的角度数据,但机器人自由度不同、关节长短不同,直接拿人的数据机器也学不会,更何况往往只得到二维视频,根本没有3D动作信息。打个比方,我们经常在电视上看别人打篮球、游泳、跳水,看再多也学不会怎么跳水和骑自行车。所以第一类数据存量大,但没有动作信息。
第二类遥操作数据现在关注特别多。比如特斯拉demo中把电池放入红色盒子的任务,完全是用模仿学习的方式,通过人类遥操作形成大量数据来学习。一个例子就能说明问题:把完全相同的电池放到5×6共30个格的盒子里,竟然需要40个采集人员昼夜不停地采集——每个格子里放的数据都得分别采,斜着、歪着的数据都得采,数据效率极低,而且做这么简单的活,人力成本非常高。更不用说到真实世界中进行强化学习,安全性和成本比遥操作还大。
所以从博士期间我就考虑一个问题:能不能摆脱真实世界数据,用仿真物理和图形学合成来形成机器人真正的数据来源?从2017年做类别级物体位资估计时我就使用合成数据,到今天完全使用合成数据。规模有多大?十亿个抓取,百万千万的不同场景来训练机器人做抓取。我们得到了全世界唯一一个能抓取透明、高光、吸光等任意材质、软硬度的泛化抓取能力,成功率达95%。前几天在上海张江的人形机器人大会上,我们进行了长达一天的不间断演示,让大家体验合成数据到底能不能训练出真实世界可用的技能。我的看法是:具身智能从0到1,通过合成数据是又快又低成本的。当然,完成了0到1,从1到100如果能有大量机器人在真实世界把数据测试回传,再进行类似RLHF的学习,就构成了机器人数据的第二曲线,将推动具身智能通用机器人从1到100。
7. 算力和仿真平台对机器人模型训练有哪些价值?
陈立:
英伟达自己不会亲自做机器人本体,虽然他们投资了人形机器人公司并频繁交流。我们基本上每一两周(最晚一个月)会跟英伟达硅谷的研发团队开一次线上会。底层逻辑是,英伟达希望自己的GPU生态和板卡能做大。所以他们做的事情更多偏向大脑本体和偏软的东西,类似CUDA,更像是大脑本体中的神经元组件。而大脑的思想,是高校、OpenAI以及像王鹤老师团队在做的事情。
8. 能让机器人在任何环境抓取任意杯子,需要构建怎样的世界模型?
田野:
能不能生成这样的东西,涉及世界模型。之前很多人说Sora像世界模型,但如果严格按定义,它并不是。从强化学习角度看,世界模型的定义是:输入当前状态,再输出可干预的动作后,模型预测状态转移(下一个新状态)。Sora无法直接明确干预这个形式,所以不符合严格定义。不过后来有些工作(如Pandora)在一定程度上做到了类似事情。
但如果我们想把这种模型用在机器人上,纯视觉方案是不行的。因为机器人主要考虑运动学——例如某个东西有没有拿住,不关心具体怎么拿。如果要考虑能否握起来,更多要考虑动力学(重力、摩擦力、机械手关节扭矩)。为了达到这一点,机器人的世界模型不需要像Sora那样通用,只需要在具体特定场景下能很好地工作,模拟具体场景的规律就足够了。第二,希望世界模型可以和已有的基于规则、基于符号仿真的方法有机结合,不同模型做自己擅长的事。基于此,我们认为这可以让我们训练出更好、更棒的中层策略。
9. 行业生态应该如何构建,大厂入局有何影响?创新企业如何找到自己的生态位?
DK:
先说偏负向的挑战。2023年大模型领域创业非常繁荣,技术迭代很快,当时创投圈有个现象:创业公司的商业计划书改得还不如大模型升级快,投资人的投研报告也不如大模型升级快。每次升级对创业生态都带来巨大影响。如果英伟达下场做更多具身智能方向的模型或专利,可能会对行业带来类似调整,让基础设施和应用层面的界限越来越模糊。
更深层次的影响是,很多机器人创业公司的竞争会变得更激烈。研发门槛大幅拉低后,对机器人创业公司的壁垒要求更高了——要求公司更专注、对场景理解更深、迭代更快、数据处理能力更高效,这样才有可能在激烈竞争中继续发展。
另一方面,也有很多积极方向。最积极的是对行业的全面赋能。概括地说,英伟达入场提供了“三件套”,大幅拉低了研发门槛,让小团队用更少资源就可以创新尝试。展开来看:第一,英伟达的工具平台(Isaac)有巨大升级,包括感知、控制等模块,粗略类比有点像CUDA,商业公司可以在这个工具平台上基于自己的硬件形态和需求做创新尝试;第二,新发布的GR00T是一个机器人通用模型,目前更多是示例和抛砖引玉;第三,新的计算平台Jetson Thor面向机器人领域。从这三个要素看,英伟达入局对行业是正向赋能。有了这三个层面的基础设施,创业团队可以更容易做研发和产品设计。英伟达持续投入下,通用人形机器人的行业基础设施会更加完善,技术迭代也会更快。
目前像英伟达这样偏算力、偏基础设施、偏工具链的公司相对较少。国内很多能力强创业公司是综合性做全栈研发,包括通用大脑和小脑一体化的机器人大模型,以及具体的执行模块(腿、手等)自研。也有一些垂类公司做某个行业的深度探索。国内像英伟达这样的平台型公司目前还没见到。
至于人形通用机器人公司的核心竞争力,在整个空间智能行业快速迭代的背景下,核心壁垒是什么?我们经常说要有业务飞轮,在机器人领域也适用——数据、模型和场景。只有这三件事快速迭代起来,创业公司才能找到核心壁垒,在整个行业不断变化的过程中最终占据关键位置。
形态与功能之辩:人脑or人形,什么是具身智能的必经之路?
10. 现在机器人从外观上越来越像人,思考上也越来越像人脑。人脑和人形,哪个更重要?
丁宁:
身体形态是否一定要人形?倒也不一定。身体是与外部世界互动的过程,需要获取更完整的信息或数据。打个比方,如果只有一个眼睛,照片拍得再清晰也拍不出重力系统在哪里——但所有物质和物体都与重力有关,甚至其形态和属性都与之相关。抓住杯子是一方面,理解它与重力的关系在操作杯子时就会发挥作用。对物理世界的理解,需要有一个身体去交互、试错,否则无法描述重力或公式。同样,摩擦力、材料属性、温度、空气存在有时看不见,需要通过身体交互去理解其存在和规律。
人形有优势,能力结构相对完整(有移动也有操作),但能力边界也很明确——相对平庸,物理操作范围窄。人在利用身体认知世界和执行复杂任务时,发展出的核心能力是创造工具和使用工具。比如杯子能装液体,但如果没有杯子,人会用手指做成杯子的形状去舀水——这是理解了物理过程后再去操作身体或工具。所以,具身不仅对提升小脑的操作控制效率有意义,对大脑部分也有价值——它是把现有基于语言的大模型修正得更完整、更逼近理想世界模型的方法。语言理解侧重于逻辑层面,但想射门、游泳,看100遍视频也不行,必须亲自体验。小孩认识苹果,看多少图片都不如拿起来啃一口,这能学到更多维的内容。
再往远了说,普遍认为未来机器人对人类社会有很大冲击,我们最关注的是机器人理不理解生命、尊不尊重生命。如果没有自己的身体,这种概念会比较片面。如果没教它,能否做出符合人文主义的决策?具身能让理解更完整。小脑部分也有例子:刚才说杯子的事,背后有物理常识的构建。小孩拿重物时,会自然地靠近身体以省力——这反映了身体对物理量的感受形成的行为,不用编程,是肌肉记忆。在做决策时,可以把这些小脑反应组合起来完成更合理的执行。所以,大脑和小脑都是通过身体理解更完整的物理世界。如果身体形态接近人类,理解就与人类差不多;如果有更强大的身体形态(不一定是人形),感受能力超出人类,理解也会超出人类边界。现在我们不必探讨那么多,但至少更接近人的行为习惯会更好。此外,除了人形机器人作为数据载体,其他类型的机器人也是数据接口——甚至像洗衣机这样与流体、柔性衣物交互的设备,互动过程采集的物理数据可能比手洗更到位,也能为具身提供数据支撑。
11. 机器人做的越像人形、人脑,成本会不会很高?与商业化会不会成反比?
王鹤:
如果假设前提是“已经有一个特别强的小脑能力,但很贵,无法商业化”——这个前提不成立。我们需要讨论的是反面:在当下具身智能通用机器人从0到1的阶段,技术上重点突破什么、怎么商业化和产业化。
具身智能机器人一定要解决足够的泛化性,这区别于传统车厂里靠规则轨迹重放的机械臂(如涂装、焊接)。但泛化不是说什么都能做,一定要挑几个技能先做泛化。目前世界主流的攻坚选择是移动抓取放置(mobile pick and place),得到很多团队一致认可(如谷歌的RT系列)。我们应把它做成一个小脑大模型——能够在任何环境(超市、药店、工厂、车厂)按指令正确抓取物体,移动到合适位置并放置。移动抓取放置大模型能将具身智能推向足够多的场景。别看只是三个技能的组合,但零售上货下货、餐饮送餐、酒店服务、工厂线边取料转运等场景都能被这个技能涵盖。
这样的小脑大模型需要对场景充分泛化,用视觉引导机器人动作。如果只是小模型,很难在任何场景都能泛化。我们团队和银河通用正重点攻坚移动抓取放置的小脑大模型。通过合成数据推动,在指定场景收集数据闭环,应该能在未来1-2年内像ChatGPT那样逐代训练加强,获得泛化能力足够强、成功率接近99%的小脑大模型。它将配合一个能承载这种能力的本体:上半身仿人双臂、双手、眼睛(甚至360度);下半身目前看产业需求,腿不是第一选择。我们可以设计成能跪下来(两条腿并成一条),没有平衡问题,底部是轮盘设计,以足够低的制造成本和足够高的稳定性在场景中泛化干活。这套技术未来1-2年就会在商业环境中间出现,大面积铺开可能是未来2-3年可以期待的。
下一个具身智能的爆点在哪里?对人类社会有怎样的影响?
12. 具身智能的下一个技术爆发点在哪?
田野:
对具身智能机器人也一样。例如居家场景中,每家环境都不同,机器人会遇到识别不出来的东西,或不会做的菜(比如某道菜)。但如果机器人拥有人脑那样的调用工具能力——不会做的菜上网搜,识别不出来的东西调用其他模型去搜——效率可能变低、速度可能变慢,但最终能完成。同样,人脑可以做反思,在长序列任务中很多地方会出错。在工厂不能等,但在居家场景,机器人可以通过反思能力,基于之前的错误总结解决新问题。
13. 类比大模型领域的百模大战,机器人领域的投资是否也有“百机大战”?
DK:
从三个点来看:第一,百人大战体现在两个维度——本体形态百花齐放(轮式、足式、灵巧手、多指、指夹、软体等),模型类型也非常多样化(大脑、小脑、肢体控制、视觉泛化、游戏操作场景等)。第二,地域上目前还是中美引领全球,两国相关机器人创业公司和大厂占全球最大。美国代表性公司(如Figure 01等)声量更大,但数量上中国更多。不完整统计显示过去18个月中国在人形机器人方面投资接近50笔。第三,一个重要旗帜性事件是李飞飞博士官宣了新创业项目“空间智能”,包括物理引擎操控等,重点解决大模型在物理空间的理解和操控能力。这个方向非常对。回看上一代AI,李飞飞对行业的巨大贡献是ImageNet——为上一波AI奠定了坚实的数据基础。这次到了三维空间智能,她亲自下场做更基础的工作,相信会对整个具身智能有很大推动。她的影响力很强,会带动更多人和资源投入。综合这三点,投资热度可能还会持续很长时间。我们非常期待这些优秀公司在技术和产品上持续带来惊喜。
14. 具身智能有哪些迈向通用的场景?工业和家庭场景哪个更容易?
陈立:
在大模型出来之前,机器人在工厂已经用很多了。例如汽车关键制造有冲压、涂装、焊接、总装四个工艺流程,前几个车间基本都是工业机器人和非标自动化设备,干的是固定范式(固定搬运、固定点位焊接喷涂),不太需要泛化能力。但到总装环节,汽车面临各种安装和调试,要求高得多,很难用非标自动化和工业机械臂实现。理论上可以实现,但把所有安装调试过程拆散,经济价值和效率反倒降低。所以目前总装环节基本以人工为主,因为复杂程度太高、任务种类太多。马斯克的特斯拉主打的场景也偏工业。这背后原因是机器人的小脑还不完善,大脑可能也没完全准备好。在这种情况下,社会关注度很高、资本圈火热,工业场景率先落地形成正常的技术投入产出比,是一条非常好的路径。
汽车行业(尤其是整车制造)大家都在关注,但实际这个场景还太小——中国整车厂数量有限。真正应关注的是广大制造业工厂,比如长三角、珠三角、京津冀、中西部(重庆、成都)等。我和家电企业(如公牛、方太、美的、海尔)做过很多沟通,他们现在的生产过程(特别是装配和调试)还是靠人工。如果参观产线会发现,最后装配环节自动化程度并不高——原因和汽车类似,用非标自动化设备也能装,但工序会拆得非常散。用人形机器人在这种场景落地,能事半功倍。短期两三年内,现有的小脑和大脑完全hold得住。所以工业场景先行,在工业场景打通后形成正向利润和现金流,再逐步转向家庭场景。最终家庭To C的体量最大——等机器人到了能在家使用的程度,基本每个家庭都会买,市场规模是另一个汽车产业,非常可观。
15. 为什么机器人都在围绕“家务”领域卷?家务场景对于机器智能的突破有什么价值?
田野:
当前机器人的小脑没有大脑发达。在之前小脑大脑都不发达时,很多家务做不了。现在接入了大模型,大脑有了飞跃,就能做到很多以前完全做不了的事——比如语音交互,人给的指令不是详细具体的事,而是相对抽象的(我饿了、我渴了、衣服脏了),期待机器人能正常回复并给出合理动作。
居家场景中,除了扫地这样的任务,还会遇到非常长序列的事情。比如做沙拉:先拿菜、洗菜、切菜、组合。如果小脑不够好,很多环节会失败。传统工业机器人失败了就是失败了,但有了更发达大脑的机器人可以做出不同反应——根据失败状态、人类反馈或环境反馈知道怎么提升自己,第二次就不再失败。这让它对长程序任务有了更好的能力。
16. 更具通用能力机器人出现,是否会对劳动力市场构成冲击?
王鹤:
拿扫地机器人做类比:扫地机器人没有具身智能,但它很泛化——在你家能扫,在我家也能扫,因为它做的事情简单(2D建图后做二维扫描清扫),策略通用。换成三维空间,难度变大很多。具身智能需要随机应变,根据情况抓取、放置,下半身配合上半身避障。一旦达到充分泛化性,就可以期待扫地机器人进化为“开箱即用”的机器人,商业模式完全成立。比如把机器人放到药店,对接货品信息后可以直接下单,它把药取下来递给快递员——这是夜间值守。白天还能上货、盘货(查看临期过期产品),搭载大语言模型后还能引导顾客选购。
在工厂里,五米范围内通常有六七十个人在做线边料库的工作——从货架上取零件,放到AGV小车上拉走。如果换成泛化的通用机器人,它不是击穿一个车厂,而是击穿整个行业的车厂线边料库。这样能极大地规模化使用,迅速把具身智能从原来机器人项目制的问题中脱离出来——项目制需要专门研究方案、派人调试和交付。未来真的能做到像现在扫地机器人一样放下就能用。
至于对劳动力市场的冲击,我的看法恰恰是不会。今天中国劳动力并不是供过于求,反而大量一线车厂出现请工难、用工难,工人流动性强,大家不愿干。比如正常需要三班倒保证产能,但能请到两班倒的人就差不多了。一到春节工人走了,工厂几乎停摆。所以,低端劳动密集型产业(车厂焊装、涂装、冲压)的自动化,对中国来说是新质生产力——让大家走向更高附加值的产业,不会对劳动力市场产生冲击。我也乐于看到未来几年中国在各方协力下做到这一点,迎来继电动汽车之后的下一个重要产业革命。
17. 机器人除了能干活儿,能不能提供情绪价值?
DK:
第一,机器人去做的事,最终效率要高于人体本身——包括资源投入、任务完成度、能耗等各方面。第二,人形机器人应能做一些人类做不了的事。举个飞行的例子:人类对飞行的探索长达近2000年,现在飞行能力已远远超越一般生物——客机可以到万米高空。回头看,莱特兄弟时期大家试图模仿鸟类扇动翅膀,但今天的飞机是轮式起落架、固定翅膀、发动机驱动。这告诉我们,当讨论人形机器人时,人形本身不重要,真正的第一性原理是空气动力学,而不是人形。回到机器人,第一性原理是视觉泛化能力、操作灵活性以及视觉和肢体的协同配合能力。
第三,机器人本身一定能规模化量产且规模化部署应用。如果走进千家万户时还需要每个家都建模、把所有东西看一遍才能操作,那一定不可规模化。所以,人形机器人的软硬件必须能规模化量产。
如果走进千家万户,它就成为人类的终极伙伴——不管是提供服务还是投资价值,这确实是可以想见的万亿市场空间。
18. 人机共生时代,我们面临哪些机遇和风险?
丁宁:
但一款或某种类型的通用型机器人可能还不够。我们需要的是机器人的能力——所谓机器人,实际上是一种方法论:利用物理规则,帮助人类解决不同尺度、不同场景下物资的重组和搬运,组合成产品或器件。这个过程可以用多种物理规则组合成工具或形态去完成。认知能力的提升让这个过程更有效、更精准、更符合人的期望。通用能力的解决,才能让我们真正进入机器人的时代。
机器人时代的作业体系,是通用型机器人与专用型机器人的配合。通用型更多,因为它可以标准化、适宜量产;专用型也少不了,在某些特定问题上能做得更好——比如洗衣机洗衣服比手洗好,打墙洞要用工具而不是手指。两类设备的协同是必然的。
有了具身作为底座,提供对物理世界常识的共同理解和认知,协同效率更高,认知过程更完善,最终达到期待的结果。举个例子,以前老家街道上有个裁缝是残疾人,手指不完整、腿脚不灵活,但做裁缝做得非常好——主要因为他认知没问题,用有限手指也能完成精细活。这意味着,认知能力的通用性可以弥补身体的不足。我相信,这给社会生产力提升以及生活生产品质提升带来的益处会更多。
至于风险,机器人和人的关系这个话题已经讨论了100年。很多人从各个角度思考过风险,既然能想到,应该有心理准备,相应措施也会有准备。最大的风险在于所有人都没想到的问题。随着事情演进、交互越来越频繁,会有更深入的思考把风险尽可能暴露出来,我们也需要提前做好准备。