Enrutamiento inteligente

Enrutamiento automático de proveedores, optimización de latencia y conmutación por error para solicitudes LLM.

El enrutamiento inteligente (model: "auto" o model: "auto-cn") evalúa dinámicamente los modelos ascendentes saludables para despachar solicitudes en protocolos OpenAI, Anthropic y Gemini.

Uso de model: "auto"

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Compatibilidad multiprotocolo

  • Protocolo OpenAI: POST /openai/v1/chat/completions y POST /v1/chat/completions
  • Protocolo Anthropic: POST /anthropic/v1/messages y POST /v1/messages
  • Protocolo Gemini: POST /gemini/v1beta/models/{model}:generateContent

Evaluación de enrutamiento, conmutación y facturación

  • Filtrado previo de modalidades: El enrutamiento automático preselecciona candidatos según las modalidades de entrada de la solicitud (texto, imagen, audio, video, archivo), las capacidades del canal (como json_schema/json_object y desactivación de razonamiento) y los límites de contexto. Las salidas no textuales, las herramientas de generación de imágenes y las solicitudes con estado como previous_response_id/conversation en Responses requieren un modelo explícito y devuelven HTTP 400 auto_routing_request_unsupported.
  • Conmutación por error en múltiples intentos: Si un intento falla (incluyendo respuestas no 2xx, rechazos del proveedor, tiempos de espera o errores de transporte), la pasarela puede probar hasta 3 modelos clasificados distintos dentro de una sola evaluación. Cada intento repite las comprobaciones de autorización, cuota, límite de tasa, enrutamiento y fondos bajo un ID de ejecución independiente; una comprobación denegada nunca autoriza el despacho. La conmutación se detiene inmediatamente si el cliente cancela o si se entrega el primer byte de respuesta; las transmisiones iniciadas nunca se reinician.
  • Evidencia de liquidación independiente: Cada intento conserva su propio registro contable. La reintento no convierte resultados ascendentes inciertos en coste cero.
  • Tarifa de plataforma: Solo cuando se utiliza la puntuación Jev y la solicitud global tiene éxito, se cobra en la solicitud principal una tarifa de min(20 * L / 1000000 + 0.01505, 0.2) créditos (donde L es la longitud UTF-16 de la cadena comprimida). Los importes se redondean al micro-USD más cercano (0.0001 créditos / 4 decimales). Las ejecuciones finales fallidas o los aciertos en caché no generan tarifa.
  • Afinidad de sesión y puntuación de reserva: Cuando la caché de sesión de Redis funciona normalmente, los turnos consecutivos con identificadores de sesión coincidentes (como X-Claude-Code-Session-Id o X-OpenCode-Session-Id) se vinculan al mismo modelo, omitiendo la puntuación y las tarifas en caso de acierto. Si el modelo vinculado falla, Auto omite la vinculación y realiza una puntuación sobre los candidatos restantes; un respaldo puntuado exitoso incurre en la tarifa de enrutamiento estándar de la plataforma.