全部文档
当前文档
最近更新时间：2026-03-09 12:08:50
已创建1个及以上的通用资源池
资源池中已经创建1个及以上的队列
在左侧导航栏，选择模型在线服务
点击新建，进入创建在线服务流程
根据以下提示进行在线服务配置，配置完成后点击下一步
基本信息
服务名称：必填，用户自定义在线服务的名称，1-64个字符，允许字母 中文 数字 -_、/(），需以字母开头
描述：选填，200个字符以内
环境配置
部署类型：支持模型部署和自定义部署，用户根据需求选择要部署的模型，当前支持的模型见下方列表
启动参数：输入启动命令，用于启动模型在线服务
代码配置：输入代码路径，指定模型服务所用的代码位置
环境变量：输入环境变量，用于配置模型在线服务的环境参数
端口：输入服务的端口号
资源配置
资源池：选择在线服务所需资源所属资源池
队列：用户可自定义选择具备权限的队列
资源类型：当前支持GPU类型资源部署在线服务
GPU卡型：选择队列内已配置的GPU卡型
GPU数量：当前GPU数量不可配置
CPU核数：用户根据需求和模型大小配置CPU核数
内存：用户根据需求和模型大小配置内存
副本数量：根据需求配置模型在线服务的副本数量
多机部署：根据模型大小选择是否开启多机部署，开启后需配置机器数量。使用自定义镜像的自定义部署暂不支持多机部署。开启多机部署时GPU卡数固定为8
网络配置
子网：选择资源池所在VPC下的子网
权限配置
默认仅创建者个人私有，开启队列内共享后全队列可见可操作 。
高级配置
hostNetwork：开启后可通过节点IP+端口直接访问服务，请保证配置的端口不会被节点上其他服务占用以免端口冲突
一致性哈希调度：开启后将根据输入的header名称对访问请求做一致性哈希调度
DeepSeek-R1 Distill Qwen-1.5B |
DeepSeek-R1-Distill-Qwen-7B |
DeepSeek-R1-Distill-Qwen-14B |
DeepSeek-R1-Distill-Qwen-32B |
DeepSeek-R1-Distill-Llama-8B |
DeepSeek-R1-Distill-Llama-70B |
DeepSeek-R1 |
DeepSeek-V3 |
GLM-4-9B-0414 |
GLM-Z1-32B-0414 |
GLM-4-32B-Base-0414 |
GLM-4-32B-0414 |
GLM-Z1-32B-0414 |
GLM-Z1-Rumination-32B-0414 |
Baichuan-M2-32B |
Kimi-K2-Base |
Kimi-K2-Instruct |
Qwen2.5-VL-32B-Instruct |
Qwen2.5-VL-7B-Instruct |
Qwen3-235B-A22B |
Qwen3-30B-A3B |
Qwen3-32B |
MiMo-7B-RL |
MiMo-7B-RL-Zero |
纯净模式
