Roteamento inteligente

Roteamento automático de provedores, otimização de latência e failover transparente para solicitações de LLM.

O Roteamento Inteligente (model: "auto" ou model: "auto-cn") avalia dinamicamente os modelos saudáveis para despachar solicitações nos protocolos OpenAI, Anthropic e Gemini.

Usando model: "auto"

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Compatibilidade multiprotocolo

  • Protocolo OpenAI: POST /openai/v1/chat/completions e POST /v1/chat/completions
  • Protocolo Anthropic: POST /anthropic/v1/messages e POST /v1/messages
  • Protocolo Gemini: POST /gemini/v1beta/models/{model}:generateContent

Avaliação de roteamento, failover e cobrança

  • Triagem prévia de modalidades: O roteamento automático pré-filtra candidatos com base nas modalidades de entrada da solicitação (texto, imagem, áudio, vídeo, arquivo), capacidades do canal (como json_schema/json_object e desativação de raciocínio) e limites de contexto. Saídas não textuais, ferramentas de geração de imagem e solicitações com estado como previous_response_id/conversation em Responses exigem um modelo explícito e retornam HTTP 400 auto_routing_request_unsupported.
  • Failover em múltiplas tentativas: Se uma tentativa de candidato falhar (incluindo respostas não-2xx, recusas do provedor, timeouts ou erros de transporte), o gateway pode tentar até 3 modelos classificados distintos em uma única avaliação. Cada tentativa repete as verificações de autorização, cota, limite de taxa, roteamento e financiamento sob um ID de execução independente; uma verificação negada nunca autoriza o despacho. O failover é interrompido imediatamente em caso de cancelamento pelo cliente ou logo após o primeiro byte de resposta ser entregue; fluxos já iniciados nunca são reiniciados.
  • Evidência de liquidação independente: Cada tentativa do provedor retém seu próprio registro contábil independente; tentativas repetidas não convertem resultados incertos em custo zero.
  • Taxa de plataforma: Uma taxa de roteamento da plataforma de min(20 * L / 1000000 + 0.01505, 0.2) créditos (onde L é o comprimento UTF-16 da string comprimida) é faturada estritamente na solicitação principal quando a pontuação Jev é utilizada e a solicitação global é bem-sucedida. O valor é arredondado para o micro-USD mais próximo (0.0001 créditos / 4 casas decimais). Falhas finais ou acertos de cache não incorrem em taxa.
  • Afinidade de sessão e pontuação de fallback: Quando o cache de sessão Redis está saudável, turnos consecutivos com identificadores de sessão correspondentes (como X-Claude-Code-Session-Id ou X-OpenCode-Session-Id) vinculam-se ao mesmo modelo, ignorando pontuação e taxas em caso de acerto. Se o modelo vinculado falhar, o Auto ignora a vinculação e pontua uma vez entre os candidatos restantes; um fallback pontuado bem-sucedido incorre na taxa de roteamento padrão da plataforma.