全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

查看和管理模型在线服务

最近更新时间:2025-07-04 15:59:38

创建模型在线服务后,您可以查看任务详情,并对其进行停止、调用、更新、扩缩容和删除等操作,本文为您介绍如何查看模型在线服务详情和管理模型在线服务等。

前提条件

已创建模型在线服务,具体操作,请参见创建模型在线服务

操作说明

查看训练任务详情

创建完模型在线服务后,返回模型在线服务列表,点击模型在线服务实例名称,即可进入模型在线服务详情。

概览

概览详情中可以查看模型在线服务基本信息、模型在线服务环境配置信息、模型在线服务资源配置信息、访问配置信息、权限配置信息等。模型在线服务实例可以查看监控、日志、事件、在线调用等操作。

监控

监控详情中可以查看GPU 温度、GPU 平均温度、GPU 总功率、GPU 功率、Tensor Core 利用率、GPU 利用率、GPU Xid 错误、GPU 显存、GPU PCIe 接收速率、GPU PCIe 传输速率、GPU 内存带宽利用率、CPU 和内存利用率、NVLINK 带宽总量、CPU 使用量(核)、Memory 使用量、网络带宽 Receive、网络带宽 Transmit等指标。

需要注意:监控的展示需要当前开发任务运行的资源池中的KCE容器服务集群已经绑定Prometheus实例,如果集群尚未绑定Prometheus实例,请前往绑定。具体操作请参见Prometheus实例管理

日志

查看模型在线服务的日志详情。

事件的启用,需要在创建资源池时选择开启Klog日志服务,并选择一个具体的klog工程。

事件

查看模型在线服务的事件详情。

事件的启用,需要在创建资源池时选择开启Klog日志服务,并选择一个具体的klog工程。

在线调用

支持对模型在线服务进行VPC内调用、公网调用和在线调试,部分内置大模型支持WebUI调用

更新

点击更新即可对当前模型在线服务的描述、启动命令和环境变量进行更新。

扩缩容

单击扩缩容,对模型在线服务的副本数量进行调整。

删除

单击删除,即可删除模型在线服务。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈