全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

评测集

最近更新时间:2026-11-18 18:48:35

评测集用于统一管理评测数据,由数据字段和评测样本组成。每个字段对应一列,用于定义数据名称、类型及必填规则;每条样本对应一行,保存一组具体的评测数据。

AgentKit 支持以下两种评测集类型:

  • 人工评测集:支持手动添加或批量导入评测样本,适用于使用预先准备的测试数据验证 Agent 或 Skill 的运行效果。

  • 在线评测集:通过采集指定智能体的 Trace 数据生成评测样本,支持配置采样策略、数据回流及字段映射,适用于基于实际运行数据开展效果评测。

创建评测集后,可在实验中关联评测对象和评估器,通过字段映射将评测数据传递给评测对象或评估器,完成实验运行与效果评分。

前提条件

  • 创建人工评测集前,已根据评测目标准备测试输入及评分所需的参考数据。

  • 创建在线评测集前,已准备需要采集 Trace 的智能体,并明确采样范围。

创建人工评测集

人工评测集支持自定义字段,通过手动添加或 CSV 文件导入的方式管理评测样本。

步骤一:创建评测集

  1. 登录星源 AgentKit 控制台,在左侧导航栏,选择评测 > 评测集。

  2. 进入评测集页面,单击+新建,选择人工评测集。

  3. 在新建人工评测集页面,根据页面提示,配置各项参数。

    • 基本信息

      参数

      是否必填

      说明

      评测集名称

      是

      长度为 1~40 个字符,支持中文、字母、数字、短横线、下划线、顿号、点、反斜线、斜线和括号。

      描述

      否

      说明评测集的用途,最多 200 个字符。

    • 选择场景一键快速配置,目前支持选择以下场景:

      快速配置

      预置字段

      说明

      理想输出评测集

      input、reference_output

      均为 String 类型,默认非必填,分别用于保存测试输入和参考输出。

      轨迹评测集

      input、reference_output、trajectory

      前两项为 String 类型,trajectory 为轨迹类型,默认均非必填。

      Skill 评测集

      input、expected_trigger

      input 为 String 类型,expected_trigger 为枚举类型,默认均为必填。其中,expected_trigger 字段默认勾选快速填充Skill预期触发并自动填充以下预期触发标签:

      Skill 评测集模板默认启用预期触发枚举快速填充,positive 和 negative 不可直接编辑。页面支持下载 Skill 评测集示例,具体使用方式参见 Skill 评测。

      • positive:预期系统 Agent 选择目标 Skill。

      • negative:预期系统 Agent 不选择目标 Skill。

      若需自定义枚举值,可取消勾选相应预期模板,如下要求设置相应值:

      • 枚举值至少保留 1 项,最多支持 50 项,且不可重复。

      • 单个枚举值最长 20 个字符,支持中文、字母、数字、顿号、连字符、下划线、反斜线、斜线、括号、点和空格。

    • 根据所选场景,配置各项预置字段:

      每个评测集最多支持 50 列,包含快速配置预置的字段。

      字段的必填规则由配置决定,快速配置的默认值可根据需要调整。

      reference_output 用于保存参考输出,是否需要填写取决于评估器要求。Agent 的实际输出由实验运行生成,无需提前填写。

      参数

      是否必填

      说明

      名称

      是

      长度为 1~50 个字符,必须以字母开头,支持字母、数字和下划线。

      数据类型

      是

      支持 String、Integer、Float、Boolean、Object、轨迹、枚举和 Array。

      其中,Array 支持 String、Integer、Float、Boolean 和 Object 子类型。

      必填

      是

      设置添加样本时是否必须填写该字段。

      描述

      否

      说明字段含义及用途,最多 200 个字符。

      数据结构

      轨迹评测集须配置

      根据页面要求配置轨迹数据结构。

      枚举值

      Skill评测集须配置

      定义字段允许填写的枚举值。

  4. 检查基本信息及字段配置,单击确定,完成评测集创建。

步骤二:添加或导入人工样本

创建人工评测集后,可通过手动添加或 CSV 文件导入的方式录入评测数据。

手动添加样本
  1. 在评测集列表中,点击目标评测集名称/ID,进入详情页。

  2. 单击添加数据,根据字段配置填写样本内容。

  3. 如需添加多条样本,单击添加数据项,单次最多添加 10 条。

  4. 检查必填字段及数据格式,单击保存。

批量导入样本
  1. 进入人工评测集详情页,单击导入数据。

  2. 在导入数据页面,单击下载模板,根据当前评测集的字段结构填写 CSV 文件。

  3. 选择数据更新方式,并上传文件。

    参数

    是否必填

    说明

    更新方式

    是

    支持追加数据和全量覆盖。

    • 追加数据:按数据项 ID 匹配现有数据。若存在相同 ID,则使用导入数据覆盖对应数据项;否则新增数据。

    • 全量覆盖:删除评测集现有全部数据,替换为本次导入的数据。

    上传文件

    是

    仅支持 CSV 格式,单文件最大 200 MB,每次只能导入一个文件。

  4. 检查文件及更新方式,单击导入,完成数据导入。

    导入文件需符合评测集字段定义。Object、轨迹等结构化字段的数据必须符合对应类型及结构要求。使用全量覆盖前,请确认现有数据是否需要保留。

创建在线评测集

在线评测集通过采集智能体运行过程中的 Trace 数据生成评测样本,支持配置采样范围、过滤条件、采样比例及数据回流方式。

步骤一:配置采样策略

  1. 进入评测集页面,单击新建,选择在线评测集。

  2. 在新建在线评测集页面,参考以下说明配置基本信息和采样策略。

    参数

    是否必填

    说明

    评测集名称

    是

    长度为 1~40 个字符,支持中文、字母、数字、短横线、下划线、顿号、点、反斜线、斜线和括号。

    描述

    否

    说明评测集的用途,最多 200 个字符。

    数据来源

    系统默认

    默认为智能体,自动采集 Trace。

    Span 节点

    是

    默认 Root Span,支持 Root Span、Model Span 和 All Span。

    智能体

    是

    选择需要采集 Trace 的目标智能体。

    过滤器

    否

    根据需要添加 Trace 筛选条件,添加后需完整配置。

    采样比例

    是

    默认 100%,支持 1%~100%。

    采样数据总条数

    是

    默认 5000 条,可按页面要求调整。

    数据回流

    是

    支持回流新数据、历史数据,或同时选择两种方式。

    • 回流新数据:采集配置时间范围内后续产生的 Trace 数据。

    • 回流历史数据:采集指定历史时间范围内已产生的 Trace 数据。

  1. 检查智能体、采样条件及数据回流配置,单击下一步。

步骤二:配置字段映射

  1. 延续前文操作。

  2. 配置评测集字段,包括名称、数据类型、必填规则及描述。

  3. 为评测集字段选择对应的 Trace 数据来源。

    配置时,需确保评测集字段与 Trace 来源的数据类型一致。例如,可将评测集的 input 字段映射到 Trajectory.input,将轨迹字段映射到 Trajectory.trajectory。

    Trace 字段

    数据类型

    说明

    Trajectory.input

    String

    智能体运行输入。

    Trajectory.output

    String

    智能体运行输出。

    Trajectory.trajectory

    Trajectory

    智能体运行轨迹。

  4. 检查字段定义及映射关系,单击确定,完成在线评测集创建。

    在线评测集的字段映射用于将 Trace 数据写入评测集,与创建实验时的 Agent 输入字段映射、评估器变量映射不同。创建实验时仍需根据评测对象和评估器要求配置相应映射。

管理评测集

评测集创建成功后,可对其数据列、数据样本等进行修改。

编辑列

  1. 在评测集列表页,单击目标评测集名称/ID,进入其详情页面。

  2. 在数据项列表顶部,单击编辑列。

  3. 在编辑列页面,对已有数据项字段进行修改或新增列,具体可参考创建评测集相关参数说明。

  4. 完成修改后,点击保存即可。

删除数据项

  1. 在评测集列表页,单击目标评测集名称/ID,进入其详情页面。

  2. 勾选目标数据项,点击列表顶部的删除即可

后续操作

  • 创建评估器:用于定义评测的评分标准,根据评测对象的运行结果进行评分,帮助您从不同维度分析 Agent 或 Skill 的实际表现。

  • 创建并进行实验:用于关联评测集、评测对象和评估器,根据配置执行评测任务,并通过样本得分、评分理由及指标统计分析 Agent 的运行效果。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈