全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

Skill专项评测

最近更新时间:2026-11-18 18:48:35

Skill 评测用于验证指定 Skill 版本在不同任务场景下的选择、加载、执行及任务完成情况。您可以通过评测集准备测试样本,选择目标 Skill 和调用方式,配置系统内置或 LLM 评估器,并通过评分结果、运行轨迹及指标统计分析 Skill 的实际表现。

功能简述

Skill 专项评测通过系统 Agent 执行评测任务,支持两种调用方式,且均支持开启基准对比,通过比较不同 Skill 配置下的运行结果,分析目标 Skill 对任务效果的影响。

  • 自动调用:由系统 Agent 根据任务输入自主选择 Skill,适用于验证目标 Skill 的触发准确性及执行效果。

  • 指定调用:由系统 Agent 按配置调用目标 Skill,不经过自主选择过程,适用于验证目标 Skill 的执行能力及任务完成情况。

Skill 专项评测提供多种系统内置评估器,用于从选择、加载、执行、结果消费及任务完成等维度分析 Skill 的表现。

评估器

评估内容

Skill 加载健康度

判断目标 Skill 是否成功加载。

Skill 绑定隔离

检查本次执行是否属于当前绑定的 Skill 及版本。

Skill 触发结果

判断目标 Skill 的实际选择是否符合样本预期,识别误触发和漏触发。

Skill 证据完整性

检查身份、版本、候选及绑定等运行证据是否完整。

Skill 选择正确性

判断可信选择结果中是否包含目标 Skill。

Skill 执行健康度

检查目标 Skill 是否成功执行,以及是否发生失败或超时。

Skill 结果消费

检查 Skill 执行结果是否被后续 Agent 步骤读取或使用。

Skill 任务结果

判断执行后是否完成样本预期任务。

Skill 产物可用性

检查产物是否可读取,并满足声明的约束。

前提条件

开始评测前,请确认已完成以下准备:

  • 已创建 Skill 空间,并准备好待评测的 Skill 及可用版本。

  • 已准备评测样本及输入数据。若需评估 Skill 触发准确性,还需为样本配置预期触发标签。

  • 如需使用 LLM 或 Code 评估器,已提前创建相应评估器。

  • 已根据评估器要求准备参考答案、任务期望或产物约束等评测数据。

步骤一:创建 Skill 评测集

Skill 评测集用于管理测试输入、预期触发标签及其他评测数据,为后续实验提供统一的测试样本。

  1. 登录星源 AgentKit 控制台,在左侧导航栏,选择评测> 评测集。

  2. 单击创建评测集,选择人工评测集。

  3. 填写评测集名称和描述,选择 Skill 评测集快速配置,设置评测数据字段,点击确定。

    字段

    是否必填

    说明

    input

    默认必填,可调整

    作为系统 Agent 的任务输入。默认类型为 String,支持调整为 Integer、Float、Boolean、Object 或 Array。

    其中,Float 类型最多保留四位小数;Object 类型通过 JSON 编辑框填写;Array 类型支持 String、Integer、Float、Boolean 和 Object 子类型。

    Skill_expected_trigger

    默认必填,可调整

    枚举类型,用于标记当前样本是否预期选择目标 Skill。本实践勾选快速填充Skill预期触发时,枚举值自动填入 positive 和 negative:

    • positive:预期系统 Agent 选择目标 Skill,用于标记正向样本。

    • negative:预期系统 Agent 不选择目标 Skill,用于标记负向样本。

  4. 返回评测集列表,点击上一步创建的评测集名称/ID,进入其详情页面。

  5. 点击添加数据,根据提示填写各样本的 input 内容,若已配置 Skill_expected_trigger 字段,为样本选择 positive 或 negative 标签。

  6. 保存评测数据,完成评测集创建。

    枚举字段通过下拉框选择。在评测集尚无数据时,修改枚举值会同步更新填写页面的选项;调整字段数据类型后,填写控件将随类型变化。

步骤二:创建 Skill 专项评测实验

  1. 延续前文操作。

  2. 在左侧导航栏,选择评测 > 实验。

  3. 点击新建实验,参考以下说明配置参数。

    参数

    是否必须

    说明

    实验名称

    是

    长度为 1~40 个字符,支持中文、字母、数字、短横线、下划线、顿号、点、反斜线、斜线和括号。

    描述

    否

    说明实验目的或配置,最多 200 个字符。

    实验类型

    是

    选择 Skill专项评测。

    评测集

    是

    选择平台上已有的评测集,用于测评当前Agent的数据基础。

    评测对象

    是

    根据实际情况设置以下参数:

    • Skill空间:选择目标 Skill 所属空间。切换空间后,需重新选择 Skill 和版本。

    • Skill:选择待评测的目标 Skill。切换 Skill 后,需重新选择版本。

    • Skill版本:选择本次评测使用的 Skill 版本。

    系统Agent字段映射

    是

    将系统 Agent 的输入字段映射到评测集变量,并完成必填字段映射。

    Skill 专项评测统一使用系统 Agent,不支持替换为自行部署的 Agent。如需评估已有 Agent 的整体运行效果,请选择 Agent 整体评测。

    调用方式

    是

    支持自动调用或指定调用。

    • 自动调用:将目标 Skill 加入候选集合,由系统 Agent 自主判断是否选择及调用。

    • 指定调用:由系统 Agent 按配置调用目标 Skill,不经过自主选择过程。

    基准对比

    否

    开启后,系统将额外运行一组基准实验,用于比较不同 Skill 配置下的评测结果。自动调用时,基准实验用于判断目标 Skill 的加入是否对 Agent 效果产生提升或影响;指定调用时,基准实验用于判断使用目标 Skill 相较于不使用 Skill,对 Agent 效果产生的提升或影响。

    基准对比使用相同的评测集、系统 Agent、模型参数及其他运行配置,仅调整 Skill 的使用条件。实验组与基准组可能先后完成,请在两组运行结束后查看对比结果。

    评估器

    是

    选择系统内置Skill评估器或已创建的 LLM /Code 评估器,支持多选。

    • 权重倍数:默认值为 1,可根据评测需要调整,取值范围为1~100。对多个评估器的得分进行加权平均来计算汇总得分。

    • 字段映射:将评估器变量映射到评测集变量或运行时变量,根据所选评估器完成必填项映射。

  4. 点击确定,提交实验,等待实验状态变为成功即可。

    若实验运行失败,可点击重试再次运行即可。具体可参考重试实验相关操作。

步骤三:查看实验结果

查看数据明细和指标统计

  1. 延续前文操作。

  2. 在实验列表页,点击目标实验名称/ID,进入其详情页面。

  3. 选择数据明细页签,点击样本ID,可查看评测集数据、评测对象输出数据以及评估器得分。

  4. 在目标样本所在行,点击操作> Skill运行详情,可查看以下信息。

    指定调用不经过 Skill 自主选择,因此不展示实际选中 Skill 和候选 Skill 信息。可通过目标 Skill、执行状态及运行轨迹检查执行情况。

    • Skill详情:主要包括调用方式、目标Skill名称及版本、实际选中Skill信息以及候选Skill。

    • Skill调用周期:主要包括目标Skill调用序号、加载状态、执行状态以及结果消费。

    • 执行Trace:展示 Trace ID 和总耗时,可通过查看完整运行轨迹查看详细运行证据。

查看Skill专项指标

  1. 在实验详情页面,选择Skill专项指标页签。

  2. 在Skill专项指标页签,可查看以下能力指标,用于分析 Skill 在选择、加载、执行及任务完成等环节的表现。

    指标

    计算方式

    说明

    Skill 选择准确率

    (TP + TN) / (TP + FP + TN + FN)

    衡量自动调用时,目标 Skill 的实际选择是否符合预期。

    判定对象始终为本次实验的目标 Skill。若系统 Agent 仅选择其他 Skill,视为未选择目标 Skill。无法获取实际选择结果的样本不参与统计。指定调用不经过自主选择过程,因此 Skill 触发结果判定为不适用。

    • TP(正比例):预期标签为postive,表示预期,且实际选中目标Skill。

    • FN(假负例):预期标签为postive,表示预期选中,但实际未选中目标Skill,属于漏触发。

    • FP(假正例):预期标签为negative,表示预期不选中,但实际选中目标Skill,属于误触发。

    • TN(真负例):预期标签为negative,表示预期不选中,且实际未选中目标Skill。

    Skill 加载成功率

    加载成功次数 / 加载尝试次数

    衡量目标 Skill 的加载情况。

    Skill 执行成功率

    执行成功次数 / 执行尝试次数

    衡量目标 Skill 的执行健康情况。

    任务成功率

    任务通过数 / 任务评估数

    衡量评测样本的任务完成情况。

    边界遵守率

    边界遵守数 / 边界校验数

    衡量执行行为是否符合预设校验边界。

  3. 可查看相应证据覆盖-判定分布,用于进一步确认评测得分的依据,具体标准如下。

    证据不足、不适用和跳过不参与有效均分,也不计为成功或失败。系统内置 Skill 评估器不支持人工校准。

    判定状态

    得分

    参与有效均分

    说明

    成功

    1

    是

    运行证据表明当前评估条件已满足。

    失败

    0

    是

    运行证据表明当前行为或结果不满足条件。

    证据不足

    —

    否

    关键证据缺失、冲突或可信性不足,无法可靠判定。

    不适用

    —

    否

    当前样本、调用方式或 Skill 类型不适用于该评估维度。

    跳过

    —

    否

    本次运行未执行该评估项。

查看基准对比结果

开启基准对比后,可按评估器查看实验组与基准组的评分差异。

  1. 进入Skill专项评测实验详情页面。

  2. 在基本信息区域,点击基线对比 > 已完成,即可打开相应对照组实验详情页面。

    未开启基准对比时,基准对比结果显示“—”。

    自动调用的基准组会移除目标 Skill,但保留其他可用 Skill;指定调用的基准组不使用任何 Skill。两种调用方式的基准条件不同,需结合对应配置解读对比结果。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈