全部文档
当前文档

共搜索到 0 条结果

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

模型API服务用量管控

最近更新时间:2026-07-10 20:02:15

场景说明

在企业实际应用模型API服务的场景中,在满足多项目团队业务需求的同时,希望对资源进行精细化管控,避免企业模型API服务成本超支。为满足该需求,金山云提供了多种实现方式,本文将介绍如何在金山云控制台实现对模型API用量以及费用管控。

前置条件

企业已开通金山云模型API服务

创建项目

模型用量管控往往基于不同部门或者不同项目,因而首先基于企业内部组织架构或者项目划分,分别创建项目:在金山云控制台资源管理,点击新建项目,填写项目名称以及备注信息完成创建,完成后在成员管理中添加对应的项目成员即可。

创建API Key

星流训推平台 API Key管理页面,点击新建按钮即可创建对应项目的API Key。

配置模型API用量管控

基于项目+模型TPM/RPM限流

在开通某个模型服务时,模型服务本身会有账号级的TPM/RPM限制, 企业内部往往会有多个项目团队共同使用。为避免某个团队的用量占满资源,可以对单个团队针对该模型的TPM/RPM上限进行限制,实现不同团队TPM/RPM的合理分配,满足不同用量需求。创建自定义推理接入点(金山云-文档中心-在线推理),选择所属项目,并开启模型限流:

基于项目+模型的用量管控

除了对TPM/RPM的管控,企业往往需要对项目基于月、季度等周期的累计Token用量进行管控,避免项目周期内累计用量过高从而导致成本超支。

创建自定义推理接入点(金山云-文档中心-在线推理),选择所属项目,并开启接入点限额设置统计周期用量额度,即可对该接入点绑定的对应项目的累计Token用量进行管控,用量达到限额后会自动停止该接入点的模型调用。

基于项目的成本管控

通过费用中心的预算管理功能,可以实现对某个项目组进行成本管控并监控告警的需求。当指定预算周期费用超过预先设定的预算时,可通过指定告警方式通知相关人员,以便及时进行处理。详细设置步骤如下:

预算范围增加产品线和项目制维度,产品线选择星流平台,项目制选择需要做预算管控的项目,预算周期可选择月、季度与年,可以按需设置预算生效时间以及预算类别。

设置告警:实际对比对象可以是费用账单,也可以是预估消耗,选择按照固定值或者百分比进行预警,提醒设置支持邮件、短信或者站内信方式。

设置完成后确认即可。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈