智能路由

针对大模型请求的自动化供应商路由、延迟优化与平滑故障转移。

智能路由(model: "auto" 或 model: "auto-cn")在各健康上游模型间动态评估与派发请求,支持 OpenAI、Anthropic 和 Gemini 等协议。

使用 model: "auto"

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

多协议兼容

  • OpenAI 协议:POST /openai/v1/chat/completions 及 POST /v1/chat/completions
  • Anthropic 协议:POST /anthropic/v1/messages 及 POST /v1/messages
  • Gemini 协议:POST /gemini/v1beta/models/{model}:generateContent

路由评估、回退重试与账务结算

  • 候选模态筛查:自动路由依据请求所含输入模态(文本、图片、音频、视频、文件)、通道能力(如 json_schema/json_object 及思考模式关闭支持)和上下文窗口进行严格前置筛选。非文本输出、生图工具及 Responses 的 previous_response_id/conversation 等有状态请求需显式指定模型,否则返回 HTTP 400 auto_routing_request_unsupported。
  • 多次尝试回退:若某候选尝试失败(包括非 2xx 响应、供应商拒绝、超时或传输异常),网关在单次特征评估内最多尝试 3 个不同排序模型。每次尝试均在独立的执行 ID 下重复既有的权限、配额、速率限制、通道路由与资金校验;未通过校验的候选绝不发起派发。客户端主动取消或向客户端输出首字节后立即终止跨模型回退;已开始推流的连接绝不重新发起。
  • 尝试独立结算:每一次调用尝试均在账本保留独立凭证;未确认结果的上游按平台账务规则记录,不自动视为零成本。
  • 平台费用:当且仅当使用了 Jev 评分且整体请求最终成功时,在父请求上计收 min(20 * L / 1000000 + 0.01505, 0.2) credits 平台路由费(L 为状态压缩字符串的 UTF-16 长度)。计费金额四舍五入精确至微美元(0.0001 credits / 小数点后 4 位)。执行失败或缓存命中不收取路由费。
  • 会话亲和与回退评分:当 Redis 会话缓存正常工作时,携带相同会话标识(如 X-Claude-Code-Session-Id、X-OpenCode-Session-Id)的连续轮次将绑定至相同模型,命中有效会话时跳过评分与路由费。若绑定的模型执行失败,Auto 将绕过绑定并对剩余候选重新评分一次;成功的回退调用将正常计收平台路由费。