最近更新时间:2026-11-18 18:48:35
评测集用于统一管理评测数据,由数据字段和评测样本组成。每个字段对应一列,用于定义数据名称、类型及必填规则;每条样本对应一行,保存一组具体的评测数据。
AgentKit 支持以下两种评测集类型:
人工评测集:支持手动添加或批量导入评测样本,适用于使用预先准备的测试数据验证 Agent 或 Skill 的运行效果。
在线评测集:通过采集指定智能体的 Trace 数据生成评测样本,支持配置采样策略、数据回流及字段映射,适用于基于实际运行数据开展效果评测。
创建评测集后,可在实验中关联评测对象和评估器,通过字段映射将评测数据传递给评测对象或评估器,完成实验运行与效果评分。
创建人工评测集前,已根据评测目标准备测试输入及评分所需的参考数据。
创建在线评测集前,已准备需要采集 Trace 的智能体,并明确采样范围。
人工评测集支持自定义字段,通过手动添加或 CSV 文件导入的方式管理评测样本。
登录星源 AgentKit 控制台,在左侧导航栏,选择评测 > 评测集。
进入评测集页面,单击+新建,选择人工评测集。
在新建人工评测集页面,根据页面提示,配置各项参数。
基本信息
参数 | 是否必填 | 说明 |
|---|---|---|
评测集名称 | 是 | 长度为 1~40 个字符,支持中文、字母、数字、短横线、下划线、顿号、点、反斜线、斜线和括号。 |
描述 | 否 | 说明评测集的用途,最多 200 个字符。 |
选择场景一键快速配置,目前支持选择以下场景:
快速配置 | 预置字段 | 说明 |
|---|---|---|
理想输出评测集 |
| 均为 String 类型,默认非必填,分别用于保存测试输入和参考输出。 |
轨迹评测集 |
| 前两项为 String 类型, |
Skill 评测集 |
|
Skill 评测集模板默认启用预期触发枚举快速填充,positive 和 negative 不可直接编辑。页面支持下载 Skill 评测集示例,具体使用方式参见 Skill 评测。
若需自定义枚举值,可取消勾选相应预期模板,如下要求设置相应值:
|
根据所选场景,配置各项预置字段:
每个评测集最多支持 50 列,包含快速配置预置的字段。
字段的必填规则由配置决定,快速配置的默认值可根据需要调整。
reference_output 用于保存参考输出,是否需要填写取决于评估器要求。Agent 的实际输出由实验运行生成,无需提前填写。
参数 | 是否必填 | 说明 |
|---|---|---|
名称 | 是 | 长度为 1~50 个字符,必须以字母开头,支持字母、数字和下划线。 |
数据类型 | 是 | 支持 String、Integer、Float、Boolean、Object、轨迹、枚举和 Array。 其中,Array 支持 String、Integer、Float、Boolean 和 Object 子类型。 |
必填 | 是 | 设置添加样本时是否必须填写该字段。 |
描述 | 否 | 说明字段含义及用途,最多 200 个字符。 |
数据结构 | 轨迹评测集须配置 | 根据页面要求配置轨迹数据结构。 |
枚举值 | Skill评测集须配置 | 定义字段允许填写的枚举值。 |
检查基本信息及字段配置,单击确定,完成评测集创建。
创建人工评测集后,可通过手动添加或 CSV 文件导入的方式录入评测数据。
进入人工评测集详情页,单击导入数据。
在导入数据页面,单击下载模板,根据当前评测集的字段结构填写 CSV 文件。
选择数据更新方式,并上传文件。
参数 | 是否必填 | 说明 |
|---|---|---|
更新方式 | 是 | 支持追加数据和全量覆盖。
|
上传文件 | 是 | 仅支持 CSV 格式,单文件最大 200 MB,每次只能导入一个文件。 |
检查文件及更新方式,单击导入,完成数据导入。
导入文件需符合评测集字段定义。Object、轨迹等结构化字段的数据必须符合对应类型及结构要求。使用全量覆盖前,请确认现有数据是否需要保留。
在线评测集通过采集智能体运行过程中的 Trace 数据生成评测样本,支持配置采样范围、过滤条件、采样比例及数据回流方式。
进入评测集页面,单击新建,选择在线评测集。
在新建在线评测集页面,参考以下说明配置基本信息和采样策略。
参数 | 是否必填 | 说明 |
|---|---|---|
评测集名称 | 是 | 长度为 1~40 个字符,支持中文、字母、数字、短横线、下划线、顿号、点、反斜线、斜线和括号。 |
描述 | 否 | 说明评测集的用途,最多 200 个字符。 |
数据来源 | 系统默认 | 默认为智能体,自动采集 Trace。 |
Span 节点 | 是 | 默认 Root Span,支持 Root Span、Model Span 和 All Span。 |
智能体 | 是 | 选择需要采集 Trace 的目标智能体。 |
过滤器 | 否 | 根据需要添加 Trace 筛选条件,添加后需完整配置。 |
采样比例 | 是 | 默认 100%,支持 1%~100%。 |
采样数据总条数 | 是 | 默认 5000 条,可按页面要求调整。 |
数据回流 | 是 | 支持回流新数据、历史数据,或同时选择两种方式。
|
检查智能体、采样条件及数据回流配置,单击下一步。
延续前文操作。
配置评测集字段,包括名称、数据类型、必填规则及描述。
为评测集字段选择对应的 Trace 数据来源。
配置时,需确保评测集字段与 Trace 来源的数据类型一致。例如,可将评测集的 input 字段映射到 Trajectory.input,将轨迹字段映射到 Trajectory.trajectory。
Trace 字段 | 数据类型 | 说明 |
|---|---|---|
| String | 智能体运行输入。 |
| String | 智能体运行输出。 |
| Trajectory | 智能体运行轨迹。 |
检查字段定义及映射关系,单击确定,完成在线评测集创建。
在线评测集的字段映射用于将 Trace 数据写入评测集,与创建实验时的 Agent 输入字段映射、评估器变量映射不同。创建实验时仍需根据评测对象和评估器要求配置相应映射。
评测集创建成功后,可对其数据列、数据样本等进行修改。
在评测集列表页,单击目标评测集名称/ID,进入其详情页面。
在数据项列表顶部,单击编辑列。
在编辑列页面,对已有数据项字段进行修改或新增列,具体可参考创建评测集相关参数说明。
完成修改后,点击保存即可。
在评测集列表页,单击目标评测集名称/ID,进入其详情页面。
勾选目标数据项,点击列表顶部的删除即可
纯净模式
