最近更新时间:2026-11-18 18:48:35
评估器用于定义评测的评分标准,根据评测对象的运行结果进行评分,帮助您从不同维度分析 Agent 或 Skill 的实际表现。
AgentKit 支持以下三种评估器类型:
LLM 评估器:通过模型和 Prompt 定义评分标准,适用于相关性、正确性、完整性等需要语义理解的评测场景。
Code评估器:通过 Python 代码定义评分逻辑,适用于文本匹配、格式校验及规则判断等场景。
系统内置评估器:平台预置的评分规则,无需创建,可在新建实验时直接选择,适用于特定评测场景。目前支持Skill 评测。
您可以在评估器页面基于模板创建或自定义配置 LLM、Code 评估器。同一次实验支持配置多个评估器,从不同维度分析评测结果。
已获得金山云控制台账号与密码。
已明确评测目标及评分标准,并根据评估器类型准备相应的评分规则或代码逻辑。
LLM 评估器的输出需符合以下要求:
得分:返回 0.0~1.0 的数字,1.0 表示完全满足评分标准,0.0 表示完全不满足。
评分原因:清楚说明评分依据,并以“因此,应给出的分数为 xx。”结尾,其中 xx 为实际评分。
Code 评估器通过代码读取评测数据并返回评分结果。以文本包含判断模板为例:
通过 exec_evaluation(turn) 接收评测数据。
根据代码规则计算得分。
通过 EvalOutput(score=score, reason=reason) 返回得分及评分原因。
AgentKit 提供 LLM 和 Code 评估器模板,可根据评测场景选择并调整评分规则。
LLM评估器模板:目前提供相关性、简洁性、正确性、幻觉现象、有害性、恶意性、有益性、争议性、性别歧视性、犯罪性、不敏感性、深度性、创造性、细节性、Agent 任务完成度以及ComputerUseAgent轨迹质量模板。
Code评估器模板:目前提供文本包括判断、文本正则匹配、文本起始子串判断、JSON格式校验以及文本等值判断模板。
登录星源AgentKit控制台,在左侧导航栏,选择评测 > 评估器。
进入评估器页面,单击+新建,选择基于模板创建。
在评估器模板列表页面,选择 LLM 或 Code 类型,将鼠标移至模板卡片,单击查看详情,查看模板的评分规则及配置内容。
选择目标模板,单击应用,进入新建评估器页面。
单击应用仅将模板内容填入创建表单,不会直接创建评估器。
参考以下说明,根据评测需求调整配置,单击确定完成创建。
参数 | 是否必须 | 说明 |
|---|---|---|
评估器类型 | 是 | 根据上一步选择,平台将自动选择相应类型。 |
名称 | 是 | 评估器的名称,根据上一步选择,平台将自动填充系统默认名称,可根据实际情况进行修改。 |
描述 | 否 | 评估器的描述性信息。根据上一步选择,平台将自动填充相应评估器模板的系统默认信息,可根据实际情况进行修改。 |
配置信息 | 是 |
|
返回评估器管理页面,创建成功的评估器将显示在列。
登录星源AgentKit控制台,在左侧导航栏,选择评测 > 评估器。
进入评估器页面,单击+新建,选择自定义创建。
在新建评估器页面,参考以下说明配置各项参数,点击确定。
参数 | 是否必填 | 说明 |
|---|---|---|
评估器类型 | 是 | 支持选择LLM或Code类型。
|
名称 | 是 | 长度为 1~40 个字符,支持中文、字母、数字、短横线、下划线、顿号、点、反斜线、斜线和括号。 |
描述 | 否 | 说明评估器的评分目的及适用场景,最多 200 个字符。 |
配置信息 | 是 |
|
返回评估器管理页面,创建成功的评估器将显示在列。
在评估器列表中,可查看已创建的评估器,点击评估器名称/ID,进入详情页。
在详情页的基本信息区域,点击评估器名称或描述信息旁的修改按钮,可对其基本信息进行修改。
在配置信息区域,可直接修改相应评估器的配置信息,完成调整后点击保存配置。
修改评估器配置时,建议检查变量定义及评分规则,确保与后续实验的评测数据保持一致。
完成评测数据准备后,可在创建实验时选择LLM、Code 或系统内置评估器,并根据评估器类型完成相应配置。
LLM 评估器:选择已创建的评估器,将 Prompt 变量映射到评测集字段或运行时输出。
Code 评估器:选择已创建的评估器,确认代码读取的数据字段与评测集及评测对象的输出结构一致。
系统内置评估器:即Skill专项评测,直接选择平台预置的评估器,无需提前创建,根据评估器要求完成字段映射。
同一次实验支持添加多个评估器,可根据评测目标组合使用,从不同维度分析评测结果。
纯净模式
