智慧路由

針對大模型請求的自動化供應商路由、延遲最佳化與平順容錯移轉。

智慧路由(model: "auto" 或 model: "auto-cn")在各健康上游模型間動態評估與派發請求,支援 OpenAI、Anthropic 和 Gemini 等協定。

使用 model: "auto"

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

多協定相容

  • OpenAI 協定:POST /openai/v1/chat/completions 及 POST /v1/chat/completions
  • Anthropic 協定:POST /anthropic/v1/messages 及 POST /v1/messages
  • Gemini 協定:POST /gemini/v1beta/models/{model}:generateContent

路由評估、回退重試與帳務結算

  • 候選模態篩選:自動路由依據請求所含輸入模態(文字、圖片、音訊、影片、檔案)、渠道能力(如 json_schema/json_object 及思考模式關閉支援)和上下文窗口進行嚴格前置篩選。非文字輸出、生圖工具及 Responses 的 previous_response_id/conversation 等具狀態請求需明確指定模型,否則回傳 HTTP 400 auto_routing_request_unsupported。
  • 多次嘗試回退:若某候選嘗試失敗(包括非 2xx 回應、供應商拒絕、逾時或傳輸異常),閘道在單次特徵評估內最多嘗試 3 個不同排序模型。每次嘗試均在獨立的執行 ID 下重複既有的權限、配額、速率限制、渠道路由與資金校驗;未通過校驗的候選絕不發起派發。客戶端主動取消或向客戶端輸出首位元組後立即終止跨模型回退;已開始推流的連線絕不重新發起。
  • 嘗試獨立結算:每一次呼叫嘗試均在帳本保留獨立憑證;未確認結果的上游按平台帳務規則記錄,不自動視為零成本。
  • 平台費用:當且僅當使用了 Jev 評分且整體請求最終成功時,在父請求上計收 min(20 * L / 1000000 + 0.01505, 0.2) credits 平台路由費(L 為狀態壓縮字串的 UTF-16 長度)。計費金額四捨五入精確至微美元(0.0001 credits / 小數點後 4 位)。執行失敗或快取命中不收取路由費。
  • 會話親和與回退評分:當 Redis 會話快取正常工作時,攜帶相同會話標識(如 X-Claude-Code-Session-Id、X-OpenCode-Session-Id)的連續輪次將綁定至相同模型,命中有效會話時跳過評分與路由費。若綁定的模型執行失敗,Auto 將繞過綁定並對剩餘候選重新評分一次;成功的回退調用將正常計收平台路由費。