最近更新时间:2025-07-04 15:59:38
创建模型在线服务后,您可以查看任务详情,并对其进行停止、调用、更新、扩缩容和删除等操作,本文为您介绍如何查看模型在线服务详情和管理模型在线服务等。
已创建模型在线服务,具体操作,请参见创建模型在线服务。
创建完模型在线服务后,返回模型在线服务列表,点击模型在线服务实例名称,即可进入模型在线服务详情。
概览详情中可以查看模型在线服务基本信息、模型在线服务环境配置信息、模型在线服务资源配置信息、访问配置信息、权限配置信息等。模型在线服务实例可以查看监控、日志、事件、在线调用等操作。
监控详情中可以查看GPU 温度、GPU 平均温度、GPU 总功率、GPU 功率、Tensor Core 利用率、GPU 利用率、GPU Xid 错误、GPU 显存、GPU PCIe 接收速率、GPU PCIe 传输速率、GPU 内存带宽利用率、CPU 和内存利用率、NVLINK 带宽总量、CPU 使用量(核)、Memory 使用量、网络带宽 Receive、网络带宽 Transmit等指标。
需要注意:监控的展示需要当前开发任务运行的资源池中的KCE容器服务集群已经绑定Prometheus实例,如果集群尚未绑定Prometheus实例,请前往绑定。具体操作请参见Prometheus实例管理
查看模型在线服务的日志详情。
事件的启用,需要在创建资源池时选择开启Klog日志服务,并选择一个具体的klog工程。
查看模型在线服务的事件详情。
事件的启用,需要在创建资源池时选择开启Klog日志服务,并选择一个具体的klog工程。
支持对模型在线服务进行VPC内调用、公网调用和在线调试,部分内置大模型支持WebUI调用
点击更新即可对当前模型在线服务的描述、启动命令和环境变量进行更新。
单击扩缩容,对模型在线服务的副本数量进行调整。
单击删除,即可删除模型在线服务。
纯净模式
