全部文档
当前文档
最近更新时间：2026-06-30 21:55:39
本文主要介绍如何为自定义推理接入点配置 Token 消耗量相关的告警。
Token 告警用于监控模型 API 接入点的 Token 消耗量，当指定时间窗口内 Token 用量超过阈值时触发告警通知。
推理接入点需要开通监控。具体可参考管理接入点-监控与统计相关内容。
查看并记录待监控接入点的ID。
登录至Prometheus监控管理界面。
在托管 Prometheus 页面找到对应的模型 API 接入点使用的监控实例，点击实例名称/ID。
进入 Prometheus 实例详情页，依次点击 告警 > 新增告警策略，进入新建告警策略页面。
在新建告警策略页面，参考以下说明配置各项参数。
告警名称：根据实际情况自定义即可，本示例为接入点使用量超水位告警。
告警规则：点击新建规则，并配置如下参数。
规则名称：根据实际情况自定义即可，本示例为近24小时使用量超水位。
PromQL ：本示例为单接入点的表达式，多接入点可参考附录相关内容。
sum by (ai_cluster, ai_consumer) (
increase(route_upstream_model_consumer_metric_ep_total_token{
ai_cluster="ep-m-20260411073552-xxx"
}[24h])
) > 10000
ep-m-20260411073552-xxx：需替换为您自己的接入点 ID。
24h：表示最近 24 小时的 Token 量。
> 10000：表示 Token 超过的阈值。
告警内容：本示例为接入点{{$labels.ai_cluster}}近24小时，总token量超10000
其他参数根据实际情况进行修改或保持默认即可。
通知策略：根据实际选择模板导入或新建策略。
其他参数根据实际情况进行修改或保持默认即可。
完成各项参数设置后，点击确定，完成告警策略的配置。
当监测接入点的Token总量到达阈值，则触发相应告警策略，接收到的告警邮件如下：
方法一：指定多个接入点 ID。
sum by (ai_cluster, ai_consumer) (
increase(route_upstream_model_consumer_metric_ep_total_token{
ai_cluster=~"ep-m-20260411073552-xxx|ep-m-另一个id|ep-m-第三个id"
}[24h])
) > 10000方法二：通过正则表达式匹配所有以 ep-m- 开头的接入点。
sum by (ai_cluster, ai_consumer) (
increase(route_upstream_model_consumer_metric_ep_total_token{
ai_cluster=~"ep-m-.*"
}[24h])
) > 10000纯净模式