最近更新时间:2026-11-18 18:48:35
Skill 评测用于验证指定 Skill 版本在不同任务场景下的选择、加载、执行及任务完成情况。您可以通过评测集准备测试样本,选择目标 Skill 和调用方式,配置系统内置或 LLM 评估器,并通过评分结果、运行轨迹及指标统计分析 Skill 的实际表现。
Skill 专项评测通过系统 Agent 执行评测任务,支持两种调用方式,且均支持开启基准对比,通过比较不同 Skill 配置下的运行结果,分析目标 Skill 对任务效果的影响。
自动调用:由系统 Agent 根据任务输入自主选择 Skill,适用于验证目标 Skill 的触发准确性及执行效果。
指定调用:由系统 Agent 按配置调用目标 Skill,不经过自主选择过程,适用于验证目标 Skill 的执行能力及任务完成情况。
Skill 专项评测提供多种系统内置评估器,用于从选择、加载、执行、结果消费及任务完成等维度分析 Skill 的表现。
评估器 | 评估内容 |
|---|---|
Skill 加载健康度 | 判断目标 Skill 是否成功加载。 |
Skill 绑定隔离 | 检查本次执行是否属于当前绑定的 Skill 及版本。 |
Skill 触发结果 | 判断目标 Skill 的实际选择是否符合样本预期,识别误触发和漏触发。 |
Skill 证据完整性 | 检查身份、版本、候选及绑定等运行证据是否完整。 |
Skill 选择正确性 | 判断可信选择结果中是否包含目标 Skill。 |
Skill 执行健康度 | 检查目标 Skill 是否成功执行,以及是否发生失败或超时。 |
Skill 结果消费 | 检查 Skill 执行结果是否被后续 Agent 步骤读取或使用。 |
Skill 任务结果 | 判断执行后是否完成样本预期任务。 |
Skill 产物可用性 | 检查产物是否可读取,并满足声明的约束。 |
开始评测前,请确认已完成以下准备:
已创建 Skill 空间,并准备好待评测的 Skill 及可用版本。
已准备评测样本及输入数据。若需评估 Skill 触发准确性,还需为样本配置预期触发标签。
如需使用 LLM 或 Code 评估器,已提前创建相应评估器。
已根据评估器要求准备参考答案、任务期望或产物约束等评测数据。
Skill 评测集用于管理测试输入、预期触发标签及其他评测数据,为后续实验提供统一的测试样本。
登录星源 AgentKit 控制台,在左侧导航栏,选择评测> 评测集。
单击创建评测集,选择人工评测集。
填写评测集名称和描述,选择 Skill 评测集快速配置,设置评测数据字段,点击确定。
字段 | 是否必填 | 说明 |
|---|---|---|
input | 默认必填,可调整 | 作为系统 Agent 的任务输入。默认类型为 String,支持调整为 Integer、Float、Boolean、Object 或 Array。 其中,Float 类型最多保留四位小数;Object 类型通过 JSON 编辑框填写;Array 类型支持 String、Integer、Float、Boolean 和 Object 子类型。 |
Skill_expected_trigger | 默认必填,可调整 | 枚举类型,用于标记当前样本是否预期选择目标 Skill。本实践勾选快速填充Skill预期触发时,枚举值自动填入 positive 和 negative:
|
返回评测集列表,点击上一步创建的评测集名称/ID,进入其详情页面。
点击添加数据,根据提示填写各样本的 input 内容,若已配置 Skill_expected_trigger 字段,为样本选择 positive 或 negative 标签。
保存评测数据,完成评测集创建。
枚举字段通过下拉框选择。在评测集尚无数据时,修改枚举值会同步更新填写页面的选项;调整字段数据类型后,填写控件将随类型变化。
延续前文操作。
在左侧导航栏,选择评测 > 实验。
点击新建实验,参考以下说明配置参数。
参数 | 是否必须 | 说明 |
|---|---|---|
实验名称 | 是 | 长度为 1~40 个字符,支持中文、字母、数字、短横线、下划线、顿号、点、反斜线、斜线和括号。 |
描述 | 否 | 说明实验目的或配置,最多 200 个字符。 |
实验类型 | 是 | 选择 Skill专项评测。 |
评测集 | 是 | 选择平台上已有的评测集,用于测评当前Agent的数据基础。 |
评测对象 | 是 | 根据实际情况设置以下参数:
|
系统Agent字段映射 | 是 | 将系统 Agent 的输入字段映射到评测集变量,并完成必填字段映射。 Skill 专项评测统一使用系统 Agent,不支持替换为自行部署的 Agent。如需评估已有 Agent 的整体运行效果,请选择 Agent 整体评测。 |
调用方式 | 是 | 支持自动调用或指定调用。
|
基准对比 | 否 | 开启后,系统将额外运行一组基准实验,用于比较不同 Skill 配置下的评测结果。自动调用时,基准实验用于判断目标 Skill 的加入是否对 Agent 效果产生提升或影响;指定调用时,基准实验用于判断使用目标 Skill 相较于不使用 Skill,对 Agent 效果产生的提升或影响。 基准对比使用相同的评测集、系统 Agent、模型参数及其他运行配置,仅调整 Skill 的使用条件。实验组与基准组可能先后完成,请在两组运行结束后查看对比结果。 |
评估器 | 是 | 选择系统内置Skill评估器或已创建的 LLM /Code 评估器,支持多选。
|
点击确定,提交实验,等待实验状态变为成功即可。
若实验运行失败,可点击重试再次运行即可。具体可参考重试实验相关操作。
延续前文操作。
在实验列表页,点击目标实验名称/ID,进入其详情页面。
选择数据明细页签,点击样本ID,可查看评测集数据、评测对象输出数据以及评估器得分。
在目标样本所在行,点击操作> Skill运行详情,可查看以下信息。
指定调用不经过 Skill 自主选择,因此不展示实际选中 Skill 和候选 Skill 信息。可通过目标 Skill、执行状态及运行轨迹检查执行情况。
Skill详情:主要包括调用方式、目标Skill名称及版本、实际选中Skill信息以及候选Skill。
Skill调用周期:主要包括目标Skill调用序号、加载状态、执行状态以及结果消费。
执行Trace:展示 Trace ID 和总耗时,可通过查看完整运行轨迹查看详细运行证据。
在实验详情页面,选择Skill专项指标页签。
在Skill专项指标页签,可查看以下能力指标,用于分析 Skill 在选择、加载、执行及任务完成等环节的表现。
指标 | 计算方式 | 说明 |
|---|---|---|
Skill 选择准确率 | (TP + TN) / (TP + FP + TN + FN) | 衡量自动调用时,目标 Skill 的实际选择是否符合预期。 判定对象始终为本次实验的目标 Skill。若系统 Agent 仅选择其他 Skill,视为未选择目标 Skill。无法获取实际选择结果的样本不参与统计。指定调用不经过自主选择过程,因此 Skill 触发结果判定为不适用。
|
Skill 加载成功率 | 加载成功次数 / 加载尝试次数 | 衡量目标 Skill 的加载情况。 |
Skill 执行成功率 | 执行成功次数 / 执行尝试次数 | 衡量目标 Skill 的执行健康情况。 |
任务成功率 | 任务通过数 / 任务评估数 | 衡量评测样本的任务完成情况。 |
边界遵守率 | 边界遵守数 / 边界校验数 | 衡量执行行为是否符合预设校验边界。 |
可查看相应证据覆盖-判定分布,用于进一步确认评测得分的依据,具体标准如下。
证据不足、不适用和跳过不参与有效均分,也不计为成功或失败。系统内置 Skill 评估器不支持人工校准。
判定状态 | 得分 | 参与有效均分 | 说明 |
|---|---|---|---|
成功 | 1 | 是 | 运行证据表明当前评估条件已满足。 |
失败 | 0 | 是 | 运行证据表明当前行为或结果不满足条件。 |
证据不足 | — | 否 | 关键证据缺失、冲突或可信性不足,无法可靠判定。 |
不适用 | — | 否 | 当前样本、调用方式或 Skill 类型不适用于该评估维度。 |
跳过 | — | 否 | 本次运行未执行该评估项。 |
开启基准对比后,可按评估器查看实验组与基准组的评分差异。
纯净模式
