亚马逊开源感知智能体工具：标注与验证功能正式发布

就在刚刚，亚马逊 AGI 实验室做了一件挺有意思的事——他们把感知智能体工具套件的基础组件给开源了。首批放出来的，是两样核心东西：标注和验证。

先说说这个标注。以前你跟 AI 说“这里改一改”，通常得打一段字，描述半天。有了标注功能，你直接在屏幕上指出来就行——圈一下、画个叉、拉个箭头，AI 就能明白你想动哪。这不像是写工单，更像是跟同事说“你看这里”。至于验证，更关键。它让 AI 能自己检查自己做出来的东西是不是符合预期，而不是每次都要你亲自去验收。

这两块东西放在一起，其实是在定义一种新的人机协作方式。

感知智能体的能力边界

所谓感知智能体，简单说就是能像人一样“看”屏幕的 AI。不是只能读代码或解析文本，而是真的能感知视觉输出，精度足够高，然后据此采取行动。

举个例子：它能识别出一个按钮偏了俩像素，边框圆角跟设计稿对不上，或者因为某个状态切换的静默失败，导致第三次点击时导航流程断了。这些对纯文本解析来说几乎不可能捕捉到，但对视觉感知来说，是基本功。

但话说回来，光能感知还不够。真正的突破在于，感知之后能行动，而且能让用户实时反馈。标注和验证这两个组件，就是为了把这个能力真正落地而设计的。

标注：让反馈像指点一样自然

当用户和AI共享同一个屏幕视图时，理应能直接圈画、指点、描述，而不是靠打字来解释。

标注组件做的就是这件事。在网页上，你点一下某个元素，工具会自动抓取它的DOM选择器、边界框和计算样式。在文档或图表这类视觉界面上，你可以直接用手绘的方式标注：圈起来代表“看这里”，画个叉是“删掉它”，箭头是“挪到这儿”。这样一来，你对AI说的每一句话，都带着精准的视觉上下文。

具体怎么用？通过浏览器扩展程序，或者直接调用 Nova Act Annotator 技能。打开扩展，选模式（绘图、元素或点选），然后对着需要改的地方标记就好。标记结果会存成结构化产物，智能体拿来就能执行。

而且这不是一个人玩的。设计师可以圈布局问题，质量工程师可以标异常流程，然后把这些结构化反馈发给后续的执行方，无论对方是AI还是团队里别的开发者。反馈本身就是上下文，不用再转化成文字消息或者工单，省去了信息传递中的损耗。

Nova Act Annotator（技能 + Chrome 扩展）今天已经正式开源。

验证：让生成与校验形成闭环

过去很长一段时间，生成和验证是两个分离的环节。先写代码，再测试。这种模式在构建成本高、周期长的时代说得通。

但大模型出现后，生成变得几乎瞬间完成。可验证——确认输出是否真的对——还是全靠人工。这就造成了“氛围编程”里那个著名的悖论：60秒生成一个完整应用，然后花三个小时验证它能不能跑通。

共享感知能力打破了这个壁垒。当人类和AI能看同一份视觉输出，各自推理内容，生成和验证就可以形成一个持续循环，不用反复靠人工介入。智能体可以像人工测试者一样，看到自己做出来的东西，发现按钮错位了、移动端布局乱了。

具体怎么工作？智能体在生成代码后调用 Nova Act Visual Verifier 技能，启动渲染后的应用，自动跑验证流程。先做确定性检查，直接从DOM读CSS计算样式，不经过AI就能发现视觉偏差；再做行为检查，模拟真实用户的操作，端到端走完流程，捕捉功能回归问题。

这种生成+验证的方式，让亚马逊团队内部构建的Web应用精度提升了不少。有意思的是，标注扩展程序本身和团队内部工具，也是用这套东西搭出来的。

Nova Act Visual Verifier 技能今天同步开源。

开放共建，持续演进

标注和验证是亚马逊AGI实验室团队在实践中确实验证过的基础组件。他们选择开放构建感知智能体工具套件，想法很简单：这种交互模式，用得人越多、压力测试越狠、二次开发越频繁，它就会变得越好。

欢迎大家去体验，也欢迎反馈还缺什么。接下来该优先构建哪些组件，团队希望能和社区一起商量着来。

Q&A

A：通过 Nova Act Annotator 的浏览器扩展或直接调用技能。浏览网页时打开扩展，选绘图、元素或点选模式，对需要改的地方标记。网页元素点击后自动捕获DOM信息；视觉界面则手绘圈注、叉号或箭头。标注结果会变成结构化产物，智能体能直接执行，省去文字描述。

A：智能体生成代码后调用该技能，启动应用并自动跑两类检查。确定性检查直接从DOM读CSS样式，即时发现视觉偏差；行为检查则模拟真实用户操作，端到端走完流程，捕捉功能回归问题。两者组合，让生成和验证形成闭环。

A：支持。它不限于一人一AI的交互，而是面向团队。设计师圈布局，质量工程师标异常，结构化标注文件可直接发给AI或其他开发者。反馈自带上下文，不需要再转成文字消息或工单，避免信息丢失。