全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

评估器

最近更新时间:2026-11-18 18:48:35

评估器用于定义评测的评分标准,根据评测对象的运行结果进行评分,帮助您从不同维度分析 Agent 或 Skill 的实际表现。

AgentKit 支持以下三种评估器类型:

  • LLM 评估器:通过模型和 Prompt 定义评分标准,适用于相关性、正确性、完整性等需要语义理解的评测场景。

  • Code评估器:通过 Python 代码定义评分逻辑,适用于文本匹配、格式校验及规则判断等场景。

  • 系统内置评估器:平台预置的评分规则,无需创建,可在新建实验时直接选择,适用于特定评测场景。目前支持Skill 评测。

您可以在评估器页面基于模板创建或自定义配置 LLM、Code 评估器。同一次实验支持配置多个评估器,从不同维度分析评测结果。

前提条件

  • 已获得金山云控制台账号与密码。

  • 已明确评测目标及评分标准,并根据评估器类型准备相应的评分规则或代码逻辑。

注意事项

  • LLM 评估器的输出需符合以下要求:

    • 得分:返回 0.0~1.0 的数字,1.0 表示完全满足评分标准,0.0 表示完全不满足。

    • 评分原因:清楚说明评分依据,并以“因此,应给出的分数为 xx。”结尾,其中 xx 为实际评分。

  • Code 评估器通过代码读取评测数据并返回评分结果。以文本包含判断模板为例:

    • 通过 exec_evaluation(turn) 接收评测数据。

    • 根据代码规则计算得分。

    • 通过 EvalOutput(score=score, reason=reason) 返回得分及评分原因。

基于模板创建评估器

相关说明

AgentKit 提供 LLM 和 Code 评估器模板,可根据评测场景选择并调整评分规则。

  • LLM评估器模板:目前提供相关性、简洁性、正确性、幻觉现象、有害性、恶意性、有益性、争议性、性别歧视性、犯罪性、不敏感性、深度性、创造性、细节性、Agent 任务完成度以及ComputerUseAgent轨迹质量模板。

  • Code评估器模板:目前提供文本包括判断、文本正则匹配、文本起始子串判断、JSON格式校验以及文本等值判断模板。

操作步骤

  1. 登录星源AgentKit控制台,在左侧导航栏,选择评测 > 评估器。

  2. 进入评估器页面,单击+新建,选择基于模板创建。

  3. 在评估器模板列表页面,选择 LLM 或 Code 类型,将鼠标移至模板卡片,单击查看详情,查看模板的评分规则及配置内容。

  4. 选择目标模板,单击应用,进入新建评估器页面。

    单击应用仅将模板内容填入创建表单,不会直接创建评估器。

  5. 参考以下说明,根据评测需求调整配置,单击确定完成创建。

    参数

    是否必须

    说明

    评估器类型

    是

    根据上一步选择,平台将自动选择相应类型。

    名称

    是

    评估器的名称,根据上一步选择,平台将自动填充系统默认名称,可根据实际情况进行修改。

    描述

    否

    评估器的描述性信息。根据上一步选择,平台将自动填充相应评估器模板的系统默认信息,可根据实际情况进行修改。

    配置信息

    是

    • 若选择LLM评估器类型:

      • 模型选择:当前评估器执行评分所用的大模型,可根据实际情况进行选择。

      • Prompt:当前评估器的评分标准及判断要求,平台将自动填充对应模板内容,可根据实际情况进行修改。

    • 若选择Code评估器类型:

      • Code:当前评估器的代码逻辑,平台将自动填充对应的Python 代码模板,请根据实际评测集字段及评测对象的输出结构,检查并调整代码中的数据读取路径。

  6. 返回评估器管理页面,创建成功的评估器将显示在列。

自定义创建评估器

  1. 登录星源AgentKit控制台,在左侧导航栏,选择评测 > 评估器。

  2. 进入评估器页面,单击+新建,选择自定义创建。

  3. 在新建评估器页面,参考以下说明配置各项参数,点击确定。

    参数

    是否必填

    说明

    评估器类型

    是

    支持选择LLM或Code类型。

    • LLM 评估器:通过模型和 Prompt 定义评分标准,适用于需要语义理解或综合判断的评测场景。

    • Code评估器:通过 Python 代码定义评分逻辑,适用于文本匹配、格式校验及其他具有明确判断规则的评测场景。

    名称

    是

    长度为 1~40 个字符,支持中文、字母、数字、短横线、下划线、顿号、点、反斜线、斜线和括号。

    描述

    否

    说明评估器的评分目的及适用场景,最多 200 个字符。

    配置信息

    是

    • 若选择LLM评估器类型:

      • 模型选择:选择用于执行评分的可用模型。

      • Prompt:配置评分标准及判断要求,支持使用 {{变量名称}} 引用变量,例如 {{input}}。

      • Variables:平台自动获取 Prompt 中引用的变量,例如 input、output 和 reference_output,具体以实际 Prompt 为准。

    • 若选择Code评估器类型:

      • Code:编写评分代码逻辑,目前支持Python,需根据实际评测集字段及评测对象的输出结构,检查并调整代码中的数据读取路径。

  4. 返回评估器管理页面,创建成功的评估器将显示在列。

后续操作

查看和编辑评估器

  1. 在评估器列表中,可查看已创建的评估器,点击评估器名称/ID,进入详情页。

  2. 在详情页的基本信息区域,点击评估器名称或描述信息旁的修改按钮,可对其基本信息进行修改。

  3. 在配置信息区域,可直接修改相应评估器的配置信息,完成调整后点击保存配置。

    修改评估器配置时,建议检查变量定义及评分规则,确保与后续实验的评测数据保持一致。

创建实验

完成评测数据准备后,可在创建实验时选择LLM、Code 或系统内置评估器,并根据评估器类型完成相应配置。

  • LLM 评估器:选择已创建的评估器,将 Prompt 变量映射到评测集字段或运行时输出。

  • Code 评估器:选择已创建的评估器,确认代码读取的数据字段与评测集及评测对象的输出结构一致。

  • 系统内置评估器:即Skill专项评测,直接选择平台预置的评估器,无需提前创建,根据评估器要求完成字段映射。

同一次实验支持添加多个评估器,可根据评测目标组合使用,从不同维度分析评测结果。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈