Roteamento inteligente
Roteamento automático de provedores, otimização de latência e failover transparente para solicitações de LLM.
O Roteamento Inteligente (model: "auto" ou model: "auto-cn") avalia dinamicamente os modelos saudáveis para despachar solicitações nos protocolos OpenAI, Anthropic e Gemini.
Usando model: "auto"
curl "https://api.anyint.ai/openai/v1/chat/completions" \
-H "Authorization: Bearer $ANYINT_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "Hello!"}]
}'Compatibilidade multiprotocolo
- Protocolo OpenAI:
POST /openai/v1/chat/completionsePOST /v1/chat/completions - Protocolo Anthropic:
POST /anthropic/v1/messagesePOST /v1/messages - Protocolo Gemini:
POST /gemini/v1beta/models/{model}:generateContent
Avaliação de roteamento, failover e cobrança
- Triagem prévia de modalidades: O roteamento automático pré-filtra candidatos com base nas modalidades de entrada da solicitação (texto, imagem, áudio, vídeo, arquivo), capacidades do canal (como
json_schema/json_objecte desativação de raciocínio) e limites de contexto. Saídas não textuais, ferramentas de geração de imagem e solicitações com estado comoprevious_response_id/conversationem Responses exigem um modelo explícito e retornam HTTP 400auto_routing_request_unsupported. - Failover em múltiplas tentativas: Se uma tentativa de candidato falhar (incluindo respostas não-2xx, recusas do provedor, timeouts ou erros de transporte), o gateway pode tentar até 3 modelos classificados distintos em uma única avaliação. Cada tentativa repete as verificações de autorização, cota, limite de taxa, roteamento e financiamento sob um ID de execução independente; uma verificação negada nunca autoriza o despacho. O failover é interrompido imediatamente em caso de cancelamento pelo cliente ou logo após o primeiro byte de resposta ser entregue; fluxos já iniciados nunca são reiniciados.
- Evidência de liquidação independente: Cada tentativa do provedor retém seu próprio registro contábil independente; tentativas repetidas não convertem resultados incertos em custo zero.
- Taxa de plataforma: Uma taxa de roteamento da plataforma de
min(20 * L / 1000000 + 0.01505, 0.2)créditos (ondeLé o comprimento UTF-16 da string comprimida) é faturada estritamente na solicitação principal quando a pontuação Jev é utilizada e a solicitação global é bem-sucedida. O valor é arredondado para o micro-USD mais próximo (0.0001 créditos / 4 casas decimais). Falhas finais ou acertos de cache não incorrem em taxa. - Afinidade de sessão e pontuação de fallback: Quando o cache de sessão Redis está saudável, turnos consecutivos com identificadores de sessão correspondentes (como
X-Claude-Code-Session-IdouX-OpenCode-Session-Id) vinculam-se ao mesmo modelo, ignorando pontuação e taxas em caso de acerto. Se o modelo vinculado falhar, o Auto ignora a vinculação e pontua uma vez entre os candidatos restantes; um fallback pontuado bem-sucedido incorre na taxa de roteamento padrão da plataforma.