全部文档
当前文档
最近更新时间：2025-11-20 22:13:10
本文将帮助您了解批量推理及如何在星流平台进行批量推理任务的创建。
批量推理适用于无需及时响应的推理任务，用户上传文件后可一次性离线处理大批量请求，平台存在空闲资源时将对批量任务进行处理。
输入文件为一个.jsonl文件，其中每行包含对 API 的单个请求的详细信息。
用户默认最大文件大小为 5GB，每行不超过1M，对总行数不做限制。
每个请求都必须包含一个唯一custom_id值（在jsonl文件中唯一，需为字符串类型），便于您使用该值在结果数据中找到对应的请求。
每条 request 都是独立的请求，独立发出，独立收到结果。如有多个请求有相同提示词，也需要在请求中都加上对应的相同的提示词。
每行body字段中的参数与底层模型调用 API 的 request body 中参数相同，为一个合法的JSON Object
示例：
{"custom_id": "request-1", "req": {"messages":[{"role":"user","content":"你是谁"}],"safe_mode":false,"stream":false}}
{"custom_id": "request-2", "req": {"messages":[{"role":"user","content":"你是谁？"}],"safe_mode":false,"stream":false}}结果文件为${批量推理ID}.jsonl，输入文件中的每个成功请求行对应结果文件中的一个响应行，response和API非流调用的response一致，示例如下：
#调用成功示例
{"custom_id": "request-1", "resp": {"id":"chatcmpl-68da37df1b3172f55fcb7294","object":"chat.completion","created":1759131616,"model":"kimi-k2-0905-preview","choices":[{"index":0,"message":{"role":"assistant","content":"我是Kimi，一个由月之暗面科技有限公司（Moonshot AI）训练的大语言模型。很高兴为你提供帮助！有什么可以问我的吗？"},"finish_reason":"stop"}],"usage":{"prompt_tokens":8,"completion_tokens":32,"total_tokens":40}}}
#调用失败示例
{"custom_id":"request-1","resp":null,"error":{"code":403,"message":"The request failed because you do not have access to the requested resource."}}每个子账号下最多同时存在20个状态为初始化/排队中/运行中的批量推理任务。
您可参考本文的输入/输出文件格式说明准备好您的输入文件，星流平台批量推理任务支持直接进行输入文件的上传或使用金山云对象存储KS3对输入/输出文件进行存储。如您希望使用金山云对象存储KS3，请您确保您已开通KS3并已将输入文件上传至KS3。
如您希望使用金山云对象存储KS3存储输入/输出文件，在新建批量推理任务前，需先进行角色授权。如果您尚未对账号进行过授权，可在批量推理任务页面左上方点击“KS3角色授权”按钮进行授权。
如果“KS3角色授权”按钮旁显示“未具备一键开通所需IAM:AttachRolePolicy权限，请先找账户管理员为您授权”，需要使用主账号或管理员账号对您当前的子账号进行IAM:AttachRolePolicy授权，授权后可进行一键开通。
在批量推理页面单击新建跳转至新建批量推理任务页面，您可自定义任务名称、描述，指定批量推理使用的模型及API Key。您也可自定义最大运行时长，不进行设置批量推理任务将默认进行至任务完成或失败；如果设置最大运行时长，任务进行至最大运行时长后将自动终止，未执行的请求将取消，您仅需为已执行的请求付费。
选择输入/输出文件KS3存储地址或直接上传输入文件后，点击确定创建批量推理任务。
批量任务状态分为以下几种：
状态 | 详情 |
初始化 | 正在对上传文件格式、请求数量等进行校验 |
排队中 | 任务排队中 |
运行中 | 任务运行中 |
已终止 | 任务已经被用户终止，不再继续排队/运行 |
已完成 | 任务文件中所有请求已经处理完成 |
失败 | 任务创建/运行发生错误 |
可对任务进行的操作如下：
操作 | 详情 |
终止任务 | 终止任务并不再继续排队/运行，仅会对已经处理的任务进行收费。终止后无法重启任务，请谨慎操作。 |
查看结果 | 如您在创建任务时选择KS3进行存储，单击查看结果后将跳转您选定的结果文件存储地址；如您在创建任务时直接上传输入文件，单击查看结果后将下载结果文件。 |
编辑 | 可对任务名称及描述进行编辑。 |
删除 | 可对已终止/已完成/失败状态的任务进行删除，如您创建任务时选择直接上传输入文件，删除任务后您将无法再下载结果文件，请谨慎进行操作。 |
在批量任务页面对状态为已终止/已完成/失败的进行查看结果操作。在创建任务时，如您选择的是KS3对输出文件进行存储，单击查看结果页面将跳转您设置的文件存储位置；如您选择的是直接上传输入文件，单击查看结果将对输出文件进行下载。
纯净模式