智能路由
针对大模型请求的自动化供应商路由、延迟优化与平滑故障转移。
智能路由(model: "auto" 或 model: "auto-cn")在各健康上游模型间动态评估与派发请求,支持 OpenAI、Anthropic 和 Gemini 等协议。
使用 model: "auto"
curl "https://api.anyint.ai/openai/v1/chat/completions" \
-H "Authorization: Bearer $ANYINT_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "Hello!"}]
}'多协议兼容
- OpenAI 协议:
POST /openai/v1/chat/completions及POST /v1/chat/completions - Anthropic 协议:
POST /anthropic/v1/messages及POST /v1/messages - Gemini 协议:
POST /gemini/v1beta/models/{model}:generateContent
路由评估、回退重试与账务结算
- 候选模态筛查:自动路由依据请求所含输入模态(文本、图片、音频、视频、文件)、通道能力(如
json_schema/json_object及思考模式关闭支持)和上下文窗口进行严格前置筛选。非文本输出、生图工具及 Responses 的previous_response_id/conversation等有状态请求需显式指定模型,否则返回 HTTP 400auto_routing_request_unsupported。 - 多次尝试回退:若某候选尝试失败(包括非 2xx 响应、供应商拒绝、超时或传输异常),网关在单次特征评估内最多尝试 3 个不同排序模型。每次尝试均在独立的执行 ID 下重复既有的权限、配额、速率限制、通道路由与资金校验;未通过校验的候选绝不发起派发。客户端主动取消或向客户端输出首字节后立即终止跨模型回退;已开始推流的连接绝不重新发起。
- 尝试独立结算:每一次调用尝试均在账本保留独立凭证;未确认结果的上游按平台账务规则记录,不自动视为零成本。
- 平台费用:当且仅当使用了 Jev 评分且整体请求最终成功时,在父请求上计收
min(20 * L / 1000000 + 0.01505, 0.2)credits 平台路由费(L 为状态压缩字符串的 UTF-16 长度)。计费金额四舍五入精确至微美元(0.0001 credits / 小数点后 4 位)。执行失败或缓存命中不收取路由费。 - 会话亲和与回退评分:当 Redis 会话缓存正常工作时,携带相同会话标识(如
X-Claude-Code-Session-Id、X-OpenCode-Session-Id)的连续轮次将绑定至相同模型,命中有效会话时跳过评分与路由费。若绑定的模型执行失败,Auto 将绕过绑定并对剩余候选重新评分一次;成功的回退调用将正常计收平台路由费。