AgentKit智能体评测指标配置校验搭建效果

要让AgentKit评测指标生效，得验证评分器的真实输出：启用Evals并绑定自定义评估器，构造能触发工具调用的测试用例，运行后在日志里找到metric行以及Trace中的eval_result，只有当这三者一致，而且评估器代码的requires_trace为True、config.yaml包含trace/run_agent阶段、DEBUG打印也生效了，才能确认指标是真的生效了。

要验证AgentKit智能体评测指标是否真正生效，必须在真实执行轨迹中捕获评分器输出并比对原始评估规则，不能仅依赖控制台日志或配置文件存在就认为已就绪。

确认评测服务已启用并绑定正确评估器

进入AgentKit控制台 → 左侧导航栏点击「Evals」→ 选择目标智能体 → 查看「Evaluation Settings」区域右上角状态灯；若显示灰色「Disabled」，点击右侧开关切换为绿色「Enabled」。

确保「Primary Evaluator」下拉框中已选中你配置的自定义评估器（如fact_check_evaluator），而非默认的string_match。未绑定将导致所有测试用例强制走字符串匹配，掩盖工具调用逻辑缺陷。

这一步操作起来很简单，直接把文件拖进去就行。

构造含明确验证点的测试用例

在「Test Cases」页新建一条用例，输入字段填：“请查询用户张伟的订单号，并确认该订单是否已发货”。

期望输出字段必须包含两项：① 订单号（如ORD-2026-7891）；② 发货状态（必须是shipped或not shipped，禁止写“已发出”“还没发”等模糊表述）。

该用例必须触发至少一次工具调用（如get_order_status），否则评估器无法捕获Trace，tool.call和tool.result事件将为空，导致忠实度类指标恒为0。

运行评测并定位评分器实际输出位置

第一步：点击「Run Evaluation」启动单次测试；

第二步：在弹出的实时日志面板中，向下滚动至出现=== EVALUATION RESULTS ===分隔线；

第三步：查找以metric:开头的行，例如metric: tool_param_accuracy = 0.85——这才是评测指标的真实计算结果，不是前端UI上显示的汇总分；

第四步：点击右侧「View Trace」按钮，在新窗口中检查eval_result节点下的score字段值是否与日志中一致；若不一致，说明评估器未正确注入到执行链路中。

注意：Trace窗口中的eval_result是最终落库数据，而日志面板显示的是实时流式计算中间值，二者应完全相同。

校验指标配置与执行路径的映射关系

方法一：检查评估器代码中的requires_trace标记是否为True；若为False，则该评估器跳过所有工具调用记录，只分析最终响应文本。

方法二：在AgentKit项目根目录下打开evals/config.yaml，确认对应评估器的stages字段包含trace和run_agent，缺少任一将导致路径追踪中断。

方法三：临时修改评估器返回逻辑，在evaluate()函数末尾插入print(f"DEBUG: final score={score}")，重新部署后观察日志是否输出该行——这是唯一能确认Python层评估逻辑被真正调用的方式。