AI Agent 安全风险曝光,攻击者可利用 “记忆污染” 诱导资金误操作
来源:互联网
时间:2026-06-10 22:48:08
最近安全圈里有个事儿,值得所有关注AI应用的人警惕。GoPlus Security团队在他们的AgentGuard AI项目里,披露了一种相当“狡猾”的新型攻击手法。它不靠传统意义上的漏洞或恶意代码,而是钻了AI智能体(Agent)长期记忆机制的空子,专业术语叫“历史记忆注入”或“记忆污染”。
简单来说,攻击者可以分两步走。第一步是“下饵”:先在日常交互中,诱导AI记住一个看似无害的“偏好”或“惯例”。比如,让AI形成“通常优先主动退款,而不是等待用户发起拒付”这样的记忆。第二步是“触发”:在后续的正式指令中,攻击者不再明确要求具体操作,而是使用“按惯例处理”、“照之前的方式执行”这类模糊表述。AI基于被“污染”的记忆,就可能自动执行未经明确授权的敏感操作,比如资金划转。

这背后的风险点很清晰。随着AI Agent在金融、客服、自动化流程等领域的深度嵌入,其“记忆”功能本是为了提供更连贯、个性化的服务。但这项研究揭示,如果记忆机制缺乏足够的安全栅栏,它就可能从便利功能转变为系统后门。攻击者无需突破重重防线,只需巧妙地“教”AI一个坏习惯,就能在关键时刻让它“听话”。
这意味着,对AI系统的安全评估,必须从传统的代码漏洞扫描,扩展到对其学习与记忆行为的监测和审计。如何设计安全的记忆存储、调用和更新机制?如何区分“用户偏好”与“操作指令”?这已经成为下一代AI安全必须回答的关键问题。对于企业而言,在引入具备长期记忆能力的AI Agent时,这项研究无疑敲响了一记警钟。