金山云-文档中心-批量推理

星流平台

查看更多结果

未找到含当前关键字的文档标题

页面目录

全部展开全部收起

产品更新动态

未找到含该关键词的产品

文档中心

星流平台

模型API服务

操作指南

批量推理

最近更新时间：2026-04-01 11:56:53



功能简述

批量推理适用于无需及时响应的推理任务。用户上传文件后，平台可一次性离线处理大批量请求。当平台存在空闲资源时，将对批量任务进行处理。

限制与约束

每个子账号下，最多同时存在 20 个状态为初始化、排队中或运行中的批量推理任务。

前提条件

已准备符合格式要求的输入文件。
若使用对象存储 KS3 输入/输出文件，请确保：
- 已完成 KS3 角色授权，具体可参考附录相关操作。
- 已开通 KS3 服务并将输入文件上传至存储空间。
已创建API Key。

操作步骤

输入文件准备

输入文件须为 .jsonl 格式文件，具体要求如下：

文件大小：默认最大为 5GB。
单行大小：每行不超过 1M。
总行数：不做限制。
内容格式：文件中每一行对应一个独立的 API 请求，必须包含以下字段：
- custom_id：字符串类型，在文件中必须唯一，用于在结果中定位对应请求。
- 每行 body：均为一个合法的 JSON Object，其参数与底层模型调用 API 的 request body 参数相同。
请求独立性：每条请求独立发出并返回结果。即使多个请求有相同提示词，也需在每个请求的 req 中完整包含。

示例：

{"custom_id": "request-1", "req": {"messages": [{"role": "user", "content": "我是谁？"}], "stream": false}}
{"custom_id": "request-2", "req": {"messages": [{"role": "user", "content": "我从哪来？"}], "stream": false}}
{"custom_id": "request-3", "req": {"messages": [{"role": "user", "content": "我要去哪？"}], "stream": false}}

新建批量推理任务

登录星流平台模型 API 服务控制台，在左侧导航栏，选择批量推理。

在批量推理页面，单击 + 新建，参考以下说明，配置各项参数。

参数	说明
批量推理任务名称	必填项，用户自定义。
描述	非必填项，针对当前推理任务的描述性信息。
选择模型	必填项，指定批量推理所使用的模型。
选择 `API Key`	必填项，指定用于此任务的 `API Key`。
最大运行时长	非必填项，自定义任务最长运行时间。若不设置，任务将默认运行至完成或失败。若设置，任务达到最大时长后将自动终止，未执行的请求将被取消，您仅需为已执行的请求付费。
数据及存储配置	必填项，支持选择用户 KS3 或上传文件。若选择使用用户KS3，则需配置以下参数：地域：选择上传有输入文件的 `KS3` 所在地域。输入 `KS3` 地址：选择上传有输入文件的对象存储空间。输出 `KS` 地址：推理任务输出文件的存储路径，根据实际情况选择即可。若选择上传文件，则需配置以下参数：选择文件：点击文件上传标识，选择已提前准备好的 `.jsonl` 格式文件即可。您可下载示例文件，参考前文操作，修改相关内容。

点击确定，完成批量推理任务的创建，返回任务列表，等待任务状态变为已完成。所有任务状态说明如下。

状态	说明
初始化	正在对上传文件格式、请求数量等进行校验。
排队中	任务排队中。
运行中	任务运行中。
已终止	任务已经被用户终止，不再继续排队/运行。
已完成	文件中所有请求已经处理完成。
失败	任务创建/运行发生错误。

查看批量推理任务结果

对于状态为已终止、已完成或失败的任务，您可以进行查看结果操作。

在推理任务管理页面，点击目标任务操作列中的查看结果。
- 情况一（使用 KS3 存储）：页面将跳转至您设置的 KS3 结果文件存储位置。
- 情况二（直接上传文件）：将直接下载输出文件到本地。

结果文件名为 ${批量推理 ID}.jsonl。输入文件中的每个成功请求对应结果文件中的一行响应。

响应格式：response 字段与非流式 API 调用的响应格式一致。

调用成功示例：

{"custom_id": "request-1", "resp": {"id": "chatcmpl-68da37df1b3172f55fcb7294", "object": "chat.completion", "created": 1759131616, "model": "kimi-k2-0905-preview", "choices": [{"index": 0, "message": {"role": "assistant", "content": "我是 Kimi，一个由月之暗面科技有限公司（Moonshot AI）训练的大语言模型。很高兴为您提供帮助！有什么可以问我的吗？"}, "finish_reason": "stop"}], "usage": {"prompt_tokens": 8, "completion_tokens": 32, "total_tokens": 40}}}

调用失败示例：

{"custom_id": "request-1", "resp": null, "error": {"code": 403, "message": "The request failed because you do not have access to the requested resource."}}

管理批量推理任务

创建任务后，您可以在批量推理页面管理任务，可执行操作如下。

操作	详情
终止任务	终止任务并不再继续排队/运行，仅会对已经处理的任务进行收费。终止后无法重启任务，请谨慎操作。
查看结果	查看任务输出结果文件。
编辑	可对任务名称及描述进行编辑。
删除	可对已终止/已完成/失败状态的任务进行删除。如创建任务时选择直接上传输入文件，删除任务后您将无法再下载结果文件，请谨慎操作。

附录

角色授权（若使用 `KS3`）

如果您希望使用 KS3 存储文件，在新建任务前需完成角色授权。

登录星流平台模型 API 服务控制台 (https://ksp.console.ksyun.com/#/modelOnline)，在左侧导航栏，选择批量推理。
在 + 新建 按钮旁，点击 KS3 角色授权 即可。
如果按钮旁显示“未具备一键开通所需 IAM:AttachRolePolicy 权限，请先找账户管理员为您授权”，则需联系您的主账号或管理员账号，为您的子账号进行 IAM:AttachRolePolicy 授权。授权完成后，方可进行一键开通。