全部文档
当前文档
最近更新时间：2026-10-19 16:25:46
在AI应用的完整生命周期中，推理服务的流量治理与调度管理始终是企业面临的核心痛点。当多业务线复用底层推理集群时，极易产生算力争抢与服务性能抖动；同时，由于缺乏精细化的访问控制与隔离机制，各业务模块的实际算力消耗往往成为“黑盒”，难以进行准确的调用追溯与成本核算。
推理接入点通过为不同业务提供独立的调用入口，在共享后端模型服务配额的基础上，实现按接入点维度的流量治理与用量统计。用户可基于接入点配置独立的 TPM/RPM限流规则，并对流量、Token 消耗、监控指标及账单进行精细化管理。
预置推理接入点
由平台基于已开通并产生调用的模型服务自动生成，用户无需额外配置即可直接使用，适用于快速接入和通用场景调用，为模型提供默认的调用入口，便于统一管理与使用。
自定义推理接入点
由用户按业务需求自主创建，可灵活绑定模型并配置限流、权限及用量管理规则，适用于多业务并行、流量隔离及精细化运营场景，例如为不同业务分别配置调用入口，并设置独立的限流与成本控制策略。
预置推理接入点的名称默认与所开通的模型名称保持一致，并沿用模型的默认限流配置，其余配置及使用方式与自定义推理接入点一致。
登录星流模型服务控制台，在左侧导航栏，选择在线推理 > 自定义推理接入点。
在自定义推理接入点页面，点击+新建。
参考以下说明，配置各项参数后，点击确定，即可完成自定义推理接入点的创建。
字段 | 内容 | 描述 |
|---|---|---|
接入点名称 | 用户定义的服务名称 | 必填项，且该账号下的所有接入点名称不可重复。 |
所属项目 | 用户管理的项目 | 必选项，同一项目下，自定义推理点默认限额为3个。 |
描述 | 用户定义的接入点描述 | 非必填。 |
模型来源 | 用户指定接入点绑定的模型服务 | 必选项，目前支持模型广场。 |
接入点限流 | 支持用户设置该接入点的流控 | 根据需要开启，默认为服务限流，支持设置独立的流控上限（不可超过服务总配额）。 |
接入点限额 | 支持用户设置该接入点的周期内调用总额 | 根据需要开启，达到限额后接入点自动禁用。 |
统计周期 | 用户指定的Token调用量统计周期 | 限额开启后必填，支持每月、每周、每日或自定义周期。 |
Token用量额度 | 周期内该接入点的Token用量限额 | 限额开启后必填，下限为1。 |
入口有两个，默认模型接入及自定义推理接入点均有入口：模型ID接入-列表-操作-更多-日志投递，自定义推理接入点-列表-操作-更多-日志投递
点击日志投递、日志解绑按钮后，次日生效
日志投递字段
字段名 | 说明 |
| 缓存 Token |
| 短暂缓存 Token |
| 音频缓存 Token |
| 音频缓存未命中 Token |
| 音频输入 Token |
| 响应类型 |
| 输入 Token |
| 输出 Token |
| 总 Token |
| 图片数量 |
| 推理 Token |
| 文本输出 Token |
| 图片输出 Token |
| 真实模型名 |
| 请求模型名 |
| 缓存未命中 Token |
| 视频/音频时长(秒) |
| 视频/音频积分 |
| 视频模式 |
| 语音输入字符数 |
| 5分钟缓存 Token |
| 1小时缓存 Token |
| 缓存创建 Token |
| 累积输入 Token |
| 累积输出 Token |
| 累积总 Token |
| 结束原因 |
| 工具使用输入 Token |
| 工具使用文本输入 Token |
| 工具使用图片输入 Token |
| 工具使用音频输入 Token |
| 工具使用视频输入 Token |
| 工具使用文档输入 Token |
| 文本提示 Token |
| 图片提示 Token |
| 视频提示 Token |
| 文档提示 Token |
| 文本缓存 Token |
| 图片缓存 Token |
| Gemini 图片缓存 Token |
| 视频缓存 Token |
| 文档缓存 Token |
| 音频输出 Token |
| 视频输出 Token |
| 流量类型 |
| API 名称 |
| 消费者 |
| 模型名 |
| 接入点 ID |
| 项目 ID |
| 推理类型 (normal/batch/web/video) |
| 是否在线体验 |
| 在线体验会话 ID |
| KSC 额外请求 ID |
| 对话轮次 |
| 响应类型 (normal/stream/streamBatch等) |
| 会话 ID |
| 首 Token 延迟(ms) |
| 深度思考耗时(ms) |
| LLM 服务总耗时(ms) |
| 流式最大 chunk 间隔(ms) |
| 结束原因 |
| 视频时长 |
| 视频积分 |
| 视频模式 |
| 语音字符数 |
| Web 搜索函数调用次数 |
| 图片审核耗时(ms) |
| 审核消息 ID |
| 审核状态 |
| 风险标签 |
| 风险词 |
| 请求审核耗时(ms) |
| 响应审核耗时(ms) |
| Token 限流状态 (limited) |
| 被白名单拒绝的 IP |
| 解析函数调用次数 |
| 请求 ID |
| 日志来源标识 |
| 日志阶段 (log-request-body / log-response-body) |
| 账户 ID |
| 模型名 |
| 日志内容 (请求体/响应体) |
提供两种安全防护方式：
基础安全防护，平台默认安全能力，提供基础内容风控，标准化拦截涉政、色情、暴恐、违禁等违规文本，满足通用问答、内容创作类基础业务需求。
高级安全防护，控制台单独开通高级安全防护，支持图文多模态检测，强化对涉政、色情、暴恐、违禁等复杂场景下变形、伪装违规内容的识别拦截，面向多模态交互、高复杂度业务场景。
基础安全防护，默认开启，为模型推理的输入和输出内容提供基础的预定义的敏感词库过滤
点击后可关闭安全防护，关闭后仍保留涉政相关防护
入口：在线推理-高级安全防护，点击后跳转至大模型应用防火墙页，可在此页面新建付费型高级安全防护
调用方式与标准API一致，仅需将请求参数中的model字段替换为对应的接入点ID，具体操作如下。
在接入点列表中，点击目标接入点操作列中的API调用。
进入相应接入点详情页面，即可查看对应的API调用示例。
KSC_API_KEY需替成平台中已有的API Key，您可在API Key管理页面进行创建。
model为当前接入点的ID。
针对文本模型，平台支持直接使用模型体验功能，进行使用。
在接入点列表中，点击目标接入点操作列中的模型体验。
直接进入模型体验界面，且默认使用当前接入点配置的文本模型，您可直接进行对话体验。
在接入点列表页，点击接入点名称进入详情页。
选择 监控页签，首次启用监控功能时，需先绑定 Prometheus 实例，并开通 Grafana 看板。
监控开启成功后，即可查看接入点在指定时间范围内的调用数据及各项监控指标，包括调用次数、失败次数和推理缓存等信息，全面了解服务的使用情况与性能变化，从而更高效地进行调用管理、问题定位、故障排查及性能优化。
在自定义推理接入点列表页面，点击目标接入点操作列中的更多，选择停止。
弹出的提示窗口中，点击停止即可。
已停止的接入点，API调用将失败。若需再次使用，可点击目标接入点操作列中的更多，选择启动，重新启用该接入点。
仅已停止状态的自定义接入点支持删除操作。
在自定义推理接入点列表页面，点击已停止状态的接入点操作列中的更多，选择删除。
在弹出提示窗口中，勾选“我已知悉风险,继续删除”，点击删除即可。
纯净模式
