最近更新时间:2026-11-18 18:48:35
实验用于关联评测集、评测对象和评估器,根据配置执行评测任务,并通过样本得分、评分理由及指标统计分析 Agent 的运行效果。本文主要介绍如何使用星源AgentKit进行Agent整体评测。
登录星源 AgentKit 控制台,在左侧导航栏,选择评测> 实验。
在实验管理页面,点击+新建。
在新建实验页面,参考以下说明,根据实验类型配置各项参数,点击确定。
参数 | 是否必须 | 说明 |
|---|---|---|
实验名称 | 是 | 长度为 1~40 个字符,支持中文、字母、数字、短横线、下划线、顿号、点、反斜线、斜线和括号。 |
描述 | 否 | 说明实验目的或配置,最多 200 个字符。 |
实验类型 | 是 | 选择 Agent 整体评测。 |
评测集 | 是 | 选择平台上已有的评测集,用于测评当前Agent的数据基础。 |
评测对象 | 条件必须 | 若选择人工评测集,则需选择平台上待评测的Agent,支持通过新建Agent创建。 字段映射:将 Agent 输入字段映射到评测集变量,确保字段含义及数据类型匹配。 |
评估器 | 是 | 选择已创建的 LLM 或 Code 评估器,支持多选。
|
返回实验列表页,创建成功的实验显示在列,状态为排队中或运行中,等待实验运行完成状态为成功即可。
若实验运行失败,可点击重试再次运行即可。具体可参考重试实验相关操作。
进入实验列表页面,可通过实验名称关键词搜索目标实验。在实验列表中查看实验名称/ID、实验类型、评测对象、评测集、评测集类型、状态、得分、描述和创建时间。
实验状态为成功表示执行流程已完成,不代表评测结果达到预期。请结合评分结果和得分理由判断 Agent 的实际表现
在实验列表页,点击目标实验名称/ID,进入其详情页面。
实验详情页展示基本信息、数据明细及指标统计。其中,基本信息包括实验名称、类型、评测对象、评测集、评估器、结束时间和描述等。
在实验详情页,选择数据明细页签,可查看各样本的运行状态、评测字段、汇总得分、评估器得分及执行时间等基本信息。
单击样本 ID,打开详情抽屉,查看以下信息。
评测集数据:展示当前样本的输入、参考答案及其他评测字段。
评测对象输出数据:展示 Agent 的实际输出。
评估器得分:展示各评估器的得分、状态及评分理由。
在实验详情页,选择指标统计页签,查看评估器得分、执行耗时及 Token 消耗。
指标 | 说明 |
|---|---|
总览 | 在总览区域可查看以下内容:
|
得分明细-数据项分布 | 查看汇总得分及各评估器的得分分布,结合样本详情分析评分差异。评估器得分用于衡量输出质量,执行耗时和 Token 消耗用于分析运行效率及资源使用情况。建议结合多个指标综合判断 Agent 的实际表现。 |
纯净模式
