最近更新时间:2026-11-18 18:48:35
星源 AgentKit 评测提供覆盖评测集、评估器和实验的统一评测能力,帮助开发者验证 Agent 应用效果、评估任务完成情况,并为持续优化提供数据依据。您可以管理评测数据、配置评分规则、批量执行评测任务,并通过样本得分、评分理由及指标统计分析评测结果。
评测支持 Agent 整体评测和 Skill 专项评测。Agent 整体评测面向已部署的 Agent,验证其任务执行效果与输出质量;Skill 专项评测面向指定 Skill 及版本,通过系统 Agent 验证 Skill 的选择、加载、执行和任务完成情况,支持自动调用、指定调用及可选的基准对比。
统一评测流程,提升验证效率
整合评测集、评估器与实验管理,提供从数据准备、实验执行到结果分析的一站式评测能力。支持复用评测数据与评分标准,降低重复配置成本,提升评测效率。
多维度能力评估,全面验证应用效果
支持 Agent 整体评测与 Skill 专项评测,结合系统内置、LLM 和 Code 多类型评估器,从任务完成质量、能力调用及执行效果等维度开展评估,满足不同业务场景的验证需求。
可量化效果对比,辅助持续优化
通过多维度评测指标、样本级结果分析及实验对比,直观呈现应用效果与性能表现。支持 Skill 基准对比,量化目标 Skill 在特定评测条件下的效果变化,为 Agent 能力优化与版本迭代提供数据依据。
Agent 上线前效果验收
企业在部署智能客服、知识问答、业务助手等 Agent 应用前,可通过贴近真实业务的评测集,批量验证回答质量与任务完成效果,辅助判断应用是否满足上线要求。
Agent 版本迭代与效果回归
当 Agent 调整模型、提示词或工具配置后,可复用相同的评测集与评分规则,对比不同版本的实验结果,识别效果提升与潜在退化问题,为持续优化提供量化依据。
Skill 接入与能力验证
当 Agent 新增或升级 Skill 时,需要确认 Agent 能否在合适的场景准确调用 Skill,以及 Skill 是否能够正确执行任务。通过正、负向样本及专项评测,识别误触发、漏触发和执行异常,并通过基准对比分析 Skill 对任务效果的实际贡献,辅助 Skill 上线验收与持续优化。
AgentKit 评测由交互层、管理层、执行评估层及数据与结果层组成,围绕评测集、评估器和实验实现从评测配置、实验执行到结果分析的完整流程。
同时,评测与可观测能力打通,支持通过 Trace Auto 对 Agent 运行 Trace 进行筛选和字段映射,生成评测样本并纳入评测集,为后续实验提供真实运行数据。
概念 | 说明 |
|---|---|
评测集 | 用于存储和管理评测样本的数据集合。每条样本可包含输入、参考输出及其他业务字段。 |
评测对象 | 实验中实际调用和评估的对象,支持 Agent 和 Skill 两种类型。
|
评估器 | 用于评估样本执行结果的评分规则,支持系统内置、LLM 和 Code 三种类型,可根据评测需求组合使用。 |
实验 | 关联评测集、评测对象和评估器,执行评测任务并生成评分结果与统计指标。 |
字段映射 | 建立评测集字段与评测对象输入、评估器变量之间的对应关系,使样本数据及实际输出能够正确传递。 |
准备评测集。 配置评测集字段,添加或导入测试样本,准备评测输入及所需参考数据。
准备评分规则。 可直接使用系统内置评估器,或提前创建 LLM、Code 评估器并配置评分规则。
创建实验。 选择评测集和评测类型,配置评测对象。Agent 整体评测需选择已有 Agent;Skill 专项评测需选择目标 Skill 及版本、调用方式,并可按需开启基准对比。
配置字段映射与评估器。 将评测集字段映射至评测对象输入及评估器变量,选择所需评估器,完成实验配置。
运行实验。 提交实验后,系统逐条执行评测样本,获取实际输出及运行证据,并根据配置的评估器进行评分。
查看评测结果。 查看样本得分、评分理由及聚合指标,结合实际输出分析评测效果。支持对 LLM 评估器得分进行人工校准,Skill 专项评测还可查看专项指标及基准对比结果。
Skill 专项评测开启基准对比后,系统将额外运行一组不使用目标 Skill 的实验,用于对比目标 Skill 对任务执行效果的影响。
纯净模式
