全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

Agent整体评测

最近更新时间:2026-11-18 18:48:35

实验用于关联评测集、评测对象和评估器,根据配置执行评测任务,并通过样本得分、评分理由及指标统计分析 Agent 的运行效果。本文主要介绍如何使用星源AgentKit进行Agent整体评测。

前提条件

步骤一:创建评测实验

  1. 登录星源 AgentKit 控制台,在左侧导航栏,选择评测> 实验。

  2. 在实验管理页面,点击+新建。

  3. 在新建实验页面,参考以下说明,根据实验类型配置各项参数,点击确定。

    参数

    是否必须

    说明

    实验名称

    是

    长度为 1~40 个字符,支持中文、字母、数字、短横线、下划线、顿号、点、反斜线、斜线和括号。

    描述

    否

    说明实验目的或配置,最多 200 个字符。

    实验类型

    是

    选择 Agent 整体评测。

    评测集

    是

    选择平台上已有的评测集,用于测评当前Agent的数据基础。

    评测对象

    条件必须

    若选择人工评测集,则需选择平台上待评测的Agent,支持通过新建Agent创建。

    字段映射:将 Agent 输入字段映射到评测集变量,确保字段含义及数据类型匹配。

    评估器

    是

    选择已创建的 LLM 或 Code 评估器,支持多选。

    • 权重倍数:默认值为 1,可根据评测需要调整,取值范围为1~100。对多个评估器的得分进行加权平均来计算汇总得分。

    • 字段映射:LLM 评估器需完成 Prompt 变量映射。Code 评估器需检查代码读取的数据字段。

  4. 返回实验列表页,创建成功的实验显示在列,状态为排队中或运行中,等待实验运行完成状态为成功即可。

    若实验运行失败,可点击重试再次运行即可。具体可参考重试实验相关操作。

步骤二:查看实验结果

  1. 进入实验列表页面,可通过实验名称关键词搜索目标实验。在实验列表中查看实验名称/ID、实验类型、评测对象、评测集、评测集类型、状态、得分、描述和创建时间。

    实验状态为成功表示执行流程已完成,不代表评测结果达到预期。请结合评分结果和得分理由判断 Agent 的实际表现

  2. 在实验列表页,点击目标实验名称/ID,进入其详情页面。

  3. 实验详情页展示基本信息、数据明细及指标统计。其中,基本信息包括实验名称、类型、评测对象、评测集、评估器、结束时间和描述等。

  4. 在实验详情页,选择数据明细页签,可查看各样本的运行状态、评测字段、汇总得分、评估器得分及执行时间等基本信息。

  5. 单击样本 ID,打开详情抽屉,查看以下信息。

    • 评测集数据:展示当前样本的输入、参考答案及其他评测字段。

    • 评测对象输出数据:展示 Agent 的实际输出。

    • 评估器得分:展示各评估器的得分、状态及评分理由。

  6. 在实验详情页,选择指标统计页签,查看评估器得分、执行耗时及 Token 消耗。

    指标

    说明

    总览

    在总览区域可查看以下内容:

    • 评估器聚合得分:按评估器展示评分统计结果。

    • 评测对象执行耗时:示 Agent 执行耗时,单位为毫秒(ms)。

    • 评测对象 Token 消耗:展示 Input Tokens、Output Tokens 和 Total Tokens。

    得分明细-数据项分布

    查看汇总得分及各评估器的得分分布,结合样本详情分析评分差异。评估器得分用于衡量输出质量,执行耗时和 Token 消耗用于分析运行效率及资源使用情况。建议结合多个指标综合判断 Agent 的实际表现。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈