最近更新时间：2025-03-18 19:23:20
模型在线服务 MOS（Model Online Service），帮助用户快速将一个或多个模型部署为在线服务，通过 API 接口调用的方式将 AI 集成到自身业务应用中，而无需关心底层IT基础设施的管理和维护。平台提供了丰富的资源供给、灵活的计费方式以及各种开发和调试工具，使得模型在线服务变得既强大又易于管理，从而更好地满足业务创新对 AI 的需求。
本教程将带你体验基于 MOS 实现 5 分钟内部署 DeepSeek-R1-Distill-Qwen-7B 部署为在线服务。
已创建过文件共享服务请略过（多个服务只需要开通一次文件共享服务）。
前往地址 https://kenc.console.ksyun.com/#/simple/fileShare
创建文件共享服务，节点选择 厦门电信41 节点，网络选择 经典网络 选项，其他按需，点击【确认订单】。
前往地址 https://mos.console.ksyun.com/#/modelManage
在公共模型列表找到 DeepSeek-R1-Distill-Qwen-7B，点击【导入】按钮。
选择刚才创建的文件共享服务，点击【确认】即可。
点击右上角【导入历史】
查看模型文件导入进度，不同的模型耗时差异很大，主要看模型文件的大小，本次部署的模型大概会2分钟左右的时间即可导入成功。
点击 MOS 左侧菜单【服务】或前往地址 https://mos.console.ksyun.com/#/serverManage
点击左上角【部署服务】
资源部署信息选择如下
属性 | 属性值 | 备注 |
|---|---|---|
资源类型 | 公共资源组 | |
地域 | 厦门电信41 | |
算力类型 | GPU | |
算力规格 | MOS.N1IN.4C16G.1A9 |
模型服务信息，配置如下
属性 | 属性值 | 备注 |
|---|---|---|
服务名称 | deepseek-r1-7b | 字母开头，支持数字、小写字母以及中横线（-），不得以中横线开始或者结尾，长度位 3~63 位 |
镜像 | 公共镜像 library/vllm/vllm-openai:v0.7.2 | |
模型配置 | NFS：上述导入模型的文件共享服务实例 NFS源路径（导入成功后可下拉选择）：DeepSeek-R1-Distill-Qwen-7B/ 挂载路径：/DeepSeek-R1-Distill-Qwen-7B | |
运行命令 | vllm serve /DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 1 --max-model-len 32768 --enforce-eager --api-key deepseekr1 | --tensor-parallel-size: 指定张量并行的 GPU 数量。 --max-model-len: 设置模型支持的最大序列长度（输入和输出的总 token 数）。 --enforce-eager: 强制使用 Eager 模式，适用于调试或解决兼容性问题。 --api-key: 设置 API 服务的访问密钥（API Key），用于身份验证。 |
端口号 | 8000 |
实例数量为 1 即可。点击【部署】。
一般 1 分钟内即可部署完成。
点击 MOS 左侧菜单【服务】或前往服务列表 https://mos.console.ksyun.com/#/serverManage
点击服务列表或详情【调用信息】，获取服务域名，例如 http://deepseek-r1-7b.ksymos.com
下载 ChatBox 或者其他 web chat 工具，新增配置如下
属性 | 属性值 | 备注 |
|---|---|---|
模型提供方 | OpenAI API | |
API 密钥 | deepseekr1 | 对应启动命令的 api-key 属性值 |
API 域名 | http://deepseek-r1-7b.ksymos.com/v1 | 服务域名+“/v1” |
模型 | 选择“自定义模型” 手动输入“/DeepSeek-R1-Distill-Qwen-7B” | 有些 web chat 工具可以自动获取 |
或者使用 curl 命令进行访问
curl --location --request POST 'http://deepseek-r1-7b.ksymos.com/v1/chat/completions' \
--header 'Authorization: Bearer deepseekr1' \
--header 'Content-Type: application/json' \
--data-raw '{ "model": "/DeepSeek-R1-Distill-Qwen-7B",
"messages": [
{"role": "user", "content": "Hello, how are you?"}
] }'纯净模式
