推理服务简介

最近更新时间:2021-07-28 15:52:45

查看PDF

在KingAI中,通过模型训练生成模型注册到模型管理,可以将模型快速部署为RESTful API服务,实现模型在线服务。推理服务支持的功能如下:

  • 支持将模型部署为一个Web Service,并且提供在线的测试与监控能力。
  • 支持设置推理服务的资源阈值,实现动态资源的扩缩容。
  • 支持对模型推理服务的创建、运行、暂停、删除等。
  • 支持展示推理服务详情,包含日志、资源监控等信息。

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

内容不全,不深入
内容更新不及时
描述不清晰,比较混乱
系统或功能太复杂,缺乏足够的引导
内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈