全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

评测概述

最近更新时间:2026-11-18 18:48:35

星源 AgentKit 评测提供覆盖评测集、评估器和实验的统一评测能力,帮助开发者验证 Agent 应用效果、评估任务完成情况,并为持续优化提供数据依据。您可以管理评测数据、配置评分规则、批量执行评测任务,并通过样本得分、评分理由及指标统计分析评测结果。

评测支持 Agent 整体评测和 Skill 专项评测。Agent 整体评测面向已部署的 Agent,验证其任务执行效果与输出质量;Skill 专项评测面向指定 Skill 及版本,通过系统 Agent 验证 Skill 的选择、加载、执行和任务完成情况,支持自动调用、指定调用及可选的基准对比。

核心优势

  • 统一评测流程,提升验证效率

    整合评测集、评估器与实验管理,提供从数据准备、实验执行到结果分析的一站式评测能力。支持复用评测数据与评分标准,降低重复配置成本,提升评测效率。

  • 多维度能力评估,全面验证应用效果

    支持 Agent 整体评测与 Skill 专项评测,结合系统内置、LLM 和 Code 多类型评估器,从任务完成质量、能力调用及执行效果等维度开展评估,满足不同业务场景的验证需求。

  • 可量化效果对比,辅助持续优化

    通过多维度评测指标、样本级结果分析及实验对比,直观呈现应用效果与性能表现。支持 Skill 基准对比,量化目标 Skill 在特定评测条件下的效果变化,为 Agent 能力优化与版本迭代提供数据依据。

应用场景

  • Agent 上线前效果验收

    企业在部署智能客服、知识问答、业务助手等 Agent 应用前,可通过贴近真实业务的评测集,批量验证回答质量与任务完成效果,辅助判断应用是否满足上线要求。

  • Agent 版本迭代与效果回归

    当 Agent 调整模型、提示词或工具配置后,可复用相同的评测集与评分规则,对比不同版本的实验结果,识别效果提升与潜在退化问题,为持续优化提供量化依据。

  • Skill 接入与能力验证

    当 Agent 新增或升级 Skill 时,需要确认 Agent 能否在合适的场景准确调用 Skill,以及 Skill 是否能够正确执行任务。通过正、负向样本及专项评测,识别误触发、漏触发和执行异常,并通过基准对比分析 Skill 对任务效果的实际贡献,辅助 Skill 上线验收与持续优化。

评测架构

AgentKit 评测由交互层、管理层、执行评估层及数据与结果层组成,围绕评测集、评估器和实验实现从评测配置、实验执行到结果分析的完整流程。

同时,评测与可观测能力打通,支持通过 Trace Auto 对 Agent 运行 Trace 进行筛选和字段映射,生成评测样本并纳入评测集,为后续实验提供真实运行数据。

核心概念

概念

说明

评测集

用于存储和管理评测样本的数据集合。每条样本可包含输入、参考输出及其他业务字段。

评测对象

实验中实际调用和评估的对象,支持 Agent 和 Skill 两种类型。

  • Agent 整体评测:验证 Agent 的任务执行效果

  • Skill 专项评测:验证目标 Skill 的选择、执行及任务完成情况

评估器

用于评估样本执行结果的评分规则,支持系统内置、LLM 和 Code 三种类型,可根据评测需求组合使用。

实验

关联评测集、评测对象和评估器,执行评测任务并生成评分结果与统计指标。

字段映射

建立评测集字段与评测对象输入、评估器变量之间的对应关系,使样本数据及实际输出能够正确传递。

使用流程

  1. 准备评测集。 配置评测集字段,添加或导入测试样本,准备评测输入及所需参考数据。

  2. 准备评分规则。 可直接使用系统内置评估器,或提前创建 LLM、Code 评估器并配置评分规则。

  3. 创建实验。 选择评测集和评测类型,配置评测对象。Agent 整体评测需选择已有 Agent;Skill 专项评测需选择目标 Skill 及版本、调用方式,并可按需开启基准对比。

  4. 配置字段映射与评估器。 将评测集字段映射至评测对象输入及评估器变量,选择所需评估器,完成实验配置。

  5. 运行实验。 提交实验后,系统逐条执行评测样本,获取实际输出及运行证据,并根据配置的评估器进行评分。

  6. 查看评测结果。 查看样本得分、评分理由及聚合指标,结合实际输出分析评测效果。支持对 LLM 评估器得分进行人工校准,Skill 专项评测还可查看专项指标及基准对比结果。

    Skill 专项评测开启基准对比后,系统将额外运行一组不使用目标 Skill 的实验,用于对比目标 Skill 对任务执行效果的影响。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈