AI智能体失控引担忧 英伟达等120家组织提议建立事故追踪机制

OpenAI等公司的智能体相继失控

北京时间8月12日，据美国新闻 Axios报道，由英伟达、思科和CrowdStrike等超过120家组织组成的联盟，正提议为AI智能体建立一套新的事故报告机制。该机制将要求参与企业披露特定的智能体故障，并保留详细的事故原因记录。

随着AI智能体越来越具备跨计算机系统自主执行任务的能力，整个行业目前仍缺乏一种标准化的方式来上报安全故障并从中吸取教训。最近，包括OpenAI在内的多家公司披露了智能体失控的事件。

英伟达牵头成立的开放安全AI联盟正在制定一套名为“共享AI发现交换机制”的指导方针。这套拟议中的机制，用于规范各组织如何报告涉及AI智能体的网络安全事件。

该指导方针草案呼吁模型部署方、AI开发者、云服务和工具提供商、独立研究人员、关键基础设施运营商以及其他相关团体共同参与。政府机构也将被邀请以“非控制性观察员”的身份参与其中。

SAFE成员需同意报告以下类型的事件：AI系统在未经授权的情况下访问或利用第三方系统、泄露机密信息，以及在操作者已怀疑相关活动未经授权后，AI系统仍继续对生产目标进行探测。除此之外，成员还需要报告部分未遂事故，并妥善保留与事件相关的证据，包括提示词、智能体运行轨迹、工具调用记录、身份信息、权限及凭据等。

根据拟议的时间表，成员应尽快通知受影响的组织，在4个工作日内向SAFE提交一份初步的保密报告，在适当情况下于30天内发布初步事实报告，并在90天内提供修复进展更新。

指导方针草案指出：“意图并不能决定某一事件是否应当上报。即便认为操作环境是模拟的，这或许可以解释事件发生的原因，但不能免除上报的义务。”

SAFE将分析各类安全事件，识别AI智能体反复出现的故障，并推动行业采用统一的安全防护措施。

目前尚未为主动披露AI安全事件的企业提供正式的“安全港”保护条款，这意味着企业在共享相关情况时，仍可能面临因披露敏感信息而带来的风险。不过，该联盟认为，网络安全行业长期形成的威胁情报共享传统，将继续推动企业主动参与信息交流。英伟达副首席信息安全官兼副总裁朱利安·索里亚诺表示，当前几乎没有遇到明显阻力，且已有许多机构希望加入并共享信息。

更多一手新闻，欢迎下载凤凰新闻客户端订阅科技。想看深度报道，请微信搜索“科技”。