全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

智能路由

最近更新时间:2026-10-21 15:01:13

什么是智能路由

智能路由是一种模型自动调度能力:你不需要在每次请求中手动指定模型,只需创建一个智能路由接入点并圈定模型范围,平台会根据每次请求的 Prompt 内容,自动识别业务场景(如代码、数学、专业问答、普通问答等),并结合你选择的路由策略(均衡 / 效果优先 / 成本优先),在你圈定的模型范围内挑选效果与成本综合考虑较优的模型来响应请求。

它能帮你解决:

  • 省钱:简单问题自动用低成本模型回答,复杂问题才动用高成本模型,整体推理成本显著下降。

  • 保效果:不同模型在不同任务上各有所长,智能路由基于平台维护的分场景评测得分做决策,让"擅长代码的模型答代码题,擅长数学的模型答数学题"。

  • 省心:一次接入,平台负责效果与成本的持续平衡。

使用前提与限制

项目

说明

支持模型类型

当前仅支持文本生成模型(不支持多模态模型)

输入内容

仅支持纯文本输入,不支持图片 / 视频 / 音频

请求格式

必须为 Chat Completions 格式

模型数量

在支持的模型集中至少选择 2个模型,需要所选模型已开通

本期支持的模型集

模型

glm-5.2

deepseek-v4.1-flash

deepseek-v4-flash

kimi-k2.6

kimi-k3

模型集会随版本持续更新,以控制台实际展示为准。

快速开始

第 1 步:创建智能路由接入点

  1. 进入控制台,新建自定义接入点。

  2. 在「路由模式」中选择智能路由(默认为"指定模型",需手动切换)。

  3. 在支持的模型集中勾选目标模型(至少 2个):

    • 未开通的模型会在选择时弹窗提示,可直接按引导开通。

  4. 选择路由策略。

  5. 保存后获得接入点,即可发起调用。

第 2 步:发起请求

使用与指定模型一致的接入点 Chat Completions 调用方式,将请求发往智能路由接入点即可:

curl -X POST https://kspmas.ksyun.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer KSC_API_KEY" \
-d '{
    "model": "ep-20261019xxxxxx-xxxvj",
    "messages": [
        {"role": "system", "content": "你是一位中文诗人,请严格遵循五言绝句格式。"},
        {"role": "user",   "content": "写一首关于春天的五言绝句"}
    ]
}'

参数兼容性说明

兼容参数

参数

说明

max_completion_tokens

透传至目标模型,限制输出长度

thinking

深度思考开关,取值 enabled / disabled / default(默认 default)

thinking 三种取值的行为:

  • default:在全部候选模型中路由,不考虑是否支持深度思考。

  • enabled:仅在支持深度思考的模型中路由,并开启思考。

  • disabled:仅在可关闭深度思考的模型中路由,并关闭思考。

不支持的参数

以下非通用参数在智能路由中不可用,传入将返回 400 错误并提示不兼容:

  • top_logprobs

  • logit_bias

  • parallel_tool_calls

此外,智能路由不支持关闭安全审核。

监控与效果查看

在接入点详情页可查看:

  • 调用监控:按模型维度区分调用量分布,了解各模型的实际承接比例。

  • 效果监控:支持自定义时间跨度(最长 30 天),查看模型调用分布与成本节约情况。

限流说明

智能路由的限流独立于各模型自身的限流,基于接入点限流能力实现。当请求被路由至某个具体模型时,消耗当前账号下该模型对应的限流额度。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈