全部文档
当前文档
最近更新时间：2025-06-19 20:24:05
模型在线服务 MOS（Model Online Service），帮助用户快速将一个或多个模型部署为在线服务，通过 API 接口调用的方式将 AI 集成到自身业务应用中，而无需关心底层IT基础设施的管理和维护。平台提供了丰富的资源供给、灵活的计费方式以及各种开发和调试工具，使得模型在线服务变得既强大又易于管理，从而更好地满足业务创新对 AI 的需求。
本教程将带你体验基于 MOS 实现 5 分钟内部署 Qwen2.5-7B-Instruct 部署为在线服务。
已创建过文件共享服务请略过（多个服务只需要开通一次文件共享服务）。
前往地址 https://kenc.console.ksyun.com/#/simple/fileShare
创建文件共享服务，节点选择 厦门电信41 节点，网络选择 经典网络 选项，其他按需，点击【确认订单】。
前往地址 https://mos.console.ksyun.com/#/modelManage
在公共模型列表找到 Qwen2.5-7B-Instruct，点击【导入】按钮。
选择刚才创建的文件共享服务，点击【确认】即可。
点击右上角【导入历史】
查看模型文件导入进度，不同的模型耗时差异很大，主要看模型文件的大小，本次部署的模型大概会2分钟左右的时间即可导入成功。
点击 MOS 左侧菜单【服务】或前往地址 https://mos.console.ksyun.com/#/serverManage
点击左上角【部署服务】
资源部署信息选择如下
属性 | 属性值 | 备注 |
|---|---|---|
资源类型 | 公共资源组 | |
地域 | 厦门电信41 | |
算力类型 | GPU | |
算力规格 | MOS.N1IN.4C16G.1A9 |
模型服务信息，配置如下
属性 | 属性值 | 备注 |
|---|---|---|
服务名称 | qwen25 | 字母开头，支持数字、小写字母以及中横线（-），不得以中横线开始或者结尾，长度位 3~63 位 |
镜像 | 公共镜像 library/vllm/vllm-openai:v0.7.2 | |
模型配置 | NFS：上述导入模型的文件共享服务实例 NFS源路径（导入成功后可下拉选择）：Qwen2.5-7B-Instruct/ 挂载路径：/data/qwen | |
运行命令 | python3 -m vllm.entrypoints.openai.api_server --model /data/qwen --api-key testqwen | |
端口号 | 8000 |
实例数量为 1 即可。点击【部署】。
一般 1 分钟内即可部署完成。
点击 MOS 左侧菜单【服务】或前往服务列表 https://mos.console.ksyun.com/#/serverManage
点击服务列表或详情【调用信息】，获取服务域名，例如 http://chatglm.ksymos.com
命令行访问可参考如下：
curl -X POST "http://qwen25.ksymos.com/v1/completions" \
-H "Authorization: Bearer testqwen" \
-H "Content-Type: application/json" \
-d '{
"model": "/data/qwen",
"prompt": "请解释什么是人工智能。",
"max_tokens": 100,
"temperature": 0.7
}'通过 web chat 客户端工具，新增配置如下：
属性 | 属性值 | 备注 |
|---|---|---|
模型提供方 | OpenAI API | |
API 密钥 | testqwen | 对应启动命令的 api-key 属性值 |
API 域名 | http://qwen25.ksymos.com/v1 | 服务域名+“/v1” |
模型 | 选择“自定义模型” 手动输入“/data/qwen” | 对应启动命令的 model 属性值 有些 web chat 工具可以自动获取 |
纯净模式