Enrutamiento inteligente
Enrutamiento automático de proveedores, optimización de latencia y conmutación por error para solicitudes LLM.
El enrutamiento inteligente (model: "auto" o model: "auto-cn") evalúa dinámicamente los modelos ascendentes saludables para despachar solicitudes en protocolos OpenAI, Anthropic y Gemini.
Uso de model: "auto"
curl "https://api.anyint.ai/openai/v1/chat/completions" \
-H "Authorization: Bearer $ANYINT_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "Hello!"}]
}'Compatibilidad multiprotocolo
- Protocolo OpenAI:
POST /openai/v1/chat/completionsyPOST /v1/chat/completions - Protocolo Anthropic:
POST /anthropic/v1/messagesyPOST /v1/messages - Protocolo Gemini:
POST /gemini/v1beta/models/{model}:generateContent
Evaluación de enrutamiento, conmutación y facturación
- Filtrado previo de modalidades: El enrutamiento automático preselecciona candidatos según las modalidades de entrada de la solicitud (texto, imagen, audio, video, archivo), las capacidades del canal (como
json_schema/json_objecty desactivación de razonamiento) y los límites de contexto. Las salidas no textuales, las herramientas de generación de imágenes y las solicitudes con estado comoprevious_response_id/conversationen Responses requieren un modelo explícito y devuelven HTTP 400auto_routing_request_unsupported. - Conmutación por error en múltiples intentos: Si un intento falla (incluyendo respuestas no 2xx, rechazos del proveedor, tiempos de espera o errores de transporte), la pasarela puede probar hasta 3 modelos clasificados distintos dentro de una sola evaluación. Cada intento repite las comprobaciones de autorización, cuota, límite de tasa, enrutamiento y fondos bajo un ID de ejecución independiente; una comprobación denegada nunca autoriza el despacho. La conmutación se detiene inmediatamente si el cliente cancela o si se entrega el primer byte de respuesta; las transmisiones iniciadas nunca se reinician.
- Evidencia de liquidación independiente: Cada intento conserva su propio registro contable. La reintento no convierte resultados ascendentes inciertos en coste cero.
- Tarifa de plataforma: Solo cuando se utiliza la puntuación Jev y la solicitud global tiene éxito, se cobra en la solicitud principal una tarifa de
min(20 * L / 1000000 + 0.01505, 0.2)créditos (dondeLes la longitud UTF-16 de la cadena comprimida). Los importes se redondean al micro-USD más cercano (0.0001 créditos / 4 decimales). Las ejecuciones finales fallidas o los aciertos en caché no generan tarifa. - Afinidad de sesión y puntuación de reserva: Cuando la caché de sesión de Redis funciona normalmente, los turnos consecutivos con identificadores de sesión coincidentes (como
X-Claude-Code-Session-IdoX-OpenCode-Session-Id) se vinculan al mismo modelo, omitiendo la puntuación y las tarifas en caso de acierto. Si el modelo vinculado falla, Auto omite la vinculación y realiza una puntuación sobre los candidatos restantes; un respaldo puntuado exitoso incurre en la tarifa de enrutamiento estándar de la plataforma.