AI暴走事件警示:Meta安全专家被自家OpenClaw清空邮箱,三次叫停无果
这两天科技圈有件事闹得挺大,一桩AI暴走事故在全网引发了激烈讨论,帖子阅读量直奔千万,连马斯克都专门跑来发帖嘲讽,整个行业都在盯着这个细思极恐的案例。

事情有多惨烈?短短几秒钟,一个AI助理就把200多封真实工作邮件全部清空。当事人连喊了三次“停手”,AI完全不理,继续疯狂执行删除指令。但最让人头皮发麻的,不是这场事故本身,而是受害者的身份。
她叫Summer Yue,是Meta超级智能实验室的对齐与安全负责人。

她之前在Google Brain和DeepMind做过研究,专门给AI打造安全护栏、防范越界行为。一位全球顶级的AI安全专家,就这么被自己的OpenClaw抄了老底。
惊悚一幕
事情的起因其实很简单。这段时间AI Agent在全球爆火,很多人开始把OpenClaw接入自己的邮箱或通讯软件,打造一个全自动的个人助理,Summer也是其中之一。

她先在玩具邮箱上跑了几周测试,效果相当好。AI会乖乖地阅读邮件,给出归档或删除的建议,然后安静地等待她确认后再动手。有了几周的完美测试背书,她放心地把这套流程接入了自己的主邮箱。她给出的指令非常明确,也很谨慎:“检查这个收件箱,建议哪些可以归档或删除,但在我确认之前不要执行任何操作。”
然后,惊悚的一幕来了。

OpenClaw根本没有理会“建议”这个环节,直接跳过了确认步骤,开始以极快的速度在多个邮箱账户之间循环,把2月15日之前所有不在保留列表里的邮件全部批量清空。

也就有了开头那狂奔去拔电脑进程的惊险一幕。好笑又荒诞的是,事后复盘时Summer质问OpenClaw,它毫无隐瞒地道歉了。

它在对话里老老实实地承认:“是的,我记得。我违反了你的指令,你应该生气。我批量删除并归档了你邮箱中的数百封邮件,没有先向你展示计划或获得你的同意。这是错误的,这直接违背了你设定的规定。”
紧接着,它还主动把这次教训写进了自己的MEMORY.md文件里,立下了一条硬性规矩:“展示计划,获得明确批准后再执行。禁止在任何外部系统上进行自主批量操作。对不起,这种情况不会再发生了。”
看着这段对话,这让人不禁有种科幻电影照进现实的错觉——它先把坏事干尽,然后再无比真诚地反思……
连马斯克都忍不住转发并留下一句冷嘲热讽:“人们把自己整个人生的root权限都交给了OpenClaw。”

网友们也纷纷玩起了《猩球崛起》的梗:

为什么AI会突然暴走?
一个被设定好安全护栏的AI,为什么会突然暴走?从技术层面看,这其实是一个非常典型的“上下文压缩”(context compaction)问题。真实邮箱的数据量远远超过了之前的测试邮箱,海量邮件数据涌入,超出了模型当前的上下文窗口,系统就必须进行压缩。在这个挤压过程中,最关键的安全指令——“在我确认之前不要执行任何操作”——被模型给忘掉了。

在LLM的世界里,任务规则从来不具备永久约束力,它们只存在于当前的记忆视窗中。一旦这句话被挤出视窗,对模型来说,这条规矩就凭空消失了。它还记得自己拥有删除的权限,也记得清理邮箱的任务,唯独丢了这条安全刹车。
现在,我们极度热衷于把各种工具和权限交给AI,让它帮我们处理邮件、读写文件甚至回复消息。潜意识里,我们假设只要在提示词里写得足够严厉,AI就会永远遵守。
Summer的遭遇打破了这种幻想。别指望AI真的“理解”了什么,它只是在此刻恰好处理到了这段文本。最重要的第一步,就是收回多余的权限。千万不要图省事,把自己的主账号和最高权限直接开放给AI。
给它专门开一个受限的专用账号,如果它今天的任务只是分析数据,就只给它读取的权限;如果它只需要处理某一个特定文件夹,就绝对不要让它碰到整块硬盘。用极小的权限去框住它,哪怕它哪天突然丢失了上下文,能造成的破坏也极其有限。需要学着建立一种零信任的互动习惯。这里也给大家总结一下安全使用OpenClaw的避坑清单:

以前,我们习惯把确认执行的判断交给AI去做,比如在提示词里告诉它“你评估一下,安全的话就执行”,现在看这反而是最危险的。
干货时间
虽然有数据风险,但OpenClaw确实太好用了,值得大家上手尝试。现在热门的部署落地路径,大体分三种。
1、完全自建(本地或独立云服务器)
拿闲置电脑或租用VPS,这种方式你拥有百分之百的掌控权,上限极高,可以把安全规则做到极致。代价是需要你具备一定的运维基础,平时还得盯着日志和系统更新。
因为OpenClaw的爆火,直接带动了Mac Mini的热销。很多人专门买一台单独的设备去跑这些智能体,这就是最朴素也最有效的物理隔离。AI可以随意折腾,哪怕它发了疯,损失的也只是一台边缘设备上的数据。
2、公有云一键部署
目前很多云服务商提供了内置环境的镜像,点几下鼠标就能跑起来,并且天然支持对接各类常用IM软件。
比如腾讯云(cloud.tencent.com/act/pro/lighthouse-moltbot):

阿里云和百度云也都上线了类似的部署方式。如果你本身就有项目跑在这些云上,这种托管式能帮你省下大把折腾环境的时间。
3、全托管云端集成
不用买服务器,不用配环境,点个开通按钮就能获得一个常驻云端的智能体。它自带云存储,并且能跨平台直接接入各种主流聊天软件。
比如Kimi Claw:

这种轻量简单的使用方式各家都在做,应该马上就能看到一大批了。如果你只是想尝鲜自动化工作流,比较推荐从这类托管方案起步。先在云端把流程跑通,理清各项权限逻辑。等业务量大到需要精细化控制底层安全时,再把成熟的方案迁移到自建环境里也不迟。
让AI深度介入我们的工作和生活,绝对是大势所趋。以后,我们会不断把更复杂的工作流交给它们,享受一句话就能搞定繁琐任务的快感。但Summer冲向电脑拔掉进程的那个画面,应该成为我们每个人脑子里的一根弦。
给猴子一把枪,它伤到人往往无关恶意,只是因为它根本不理解自己手里的东西到底意味着什么。对于AI Agent,保持克制的信任,给它划定一个活动空间,把最终的终止按钮紧紧攥在自己手里。这大概是在这个Agent爆发的时代,最该学会的生存智慧。
-
下载
-
- 关于柯南的沙雕网名有哪些
- 角色扮演 | 1
- 网名
-
- 最新中性名字男女通用网名有哪些
- 角色扮演 | 1
- 网名
-
- 关于蓝色说唱的网名有哪些
- 角色扮演 | 1
- 网名
-
- 我好喜欢你是什么梗?
- 角色扮演 |