Routage intelligent

Routage automatique des fournisseurs, optimisation de la latence et basculement fluide pour les requêtes LLM.

Le routage intelligent (model: "auto" ou model: "auto-cn") évalue dynamiquement les modèles amonts sains pour répartir les requêtes sur les protocoles OpenAI, Anthropic et Gemini.

Utilisation de model: "auto"

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Compatibilité multi-protocoles

  • Protocole OpenAI : POST /openai/v1/chat/completions et POST /v1/chat/completions
  • Protocole Anthropic : POST /anthropic/v1/messages et POST /v1/messages
  • Protocole Gemini : POST /gemini/v1beta/models/{model}:generateContent

Évaluation du routage, basculement et facturation

  • Sélection préalable des modalités : Le routage automatique pré-filtre les candidats selon les modalités d'entrée de la requête (texte, image, audio, vidéo, fichier), les fonctionnalités du canal (comme json_schema/json_object et la désactivation du raisonnement) et la taille du contexte. Les sorties non textuelles, les outils de génération d'images et les requêtes avec état comme previous_response_id/conversation dans Responses exigent un modèle explicite et renvoient HTTP 400 auto_routing_request_unsupported.
  • Basculement sur plusieurs tentatives : En cas d'échec d'une tentative (y compris réponses non 2xx, refus du fournisseur, délais d'attente dépassés ou erreurs de transport), la passerelle peut essayer jusqu'à 3 modèles classés distincts au cours d'une seule évaluation. Chaque tentative répète les vérifications d'autorisation, de quota, de limite de débit, de routage et de financement sous un identifiant d'exécution indépendant ; une vérification refusée n'autorise jamais la transmission. Le basculement s'interrompt immédiatement en cas d'annulation par le client ou dès la livraison du premier octet de réponse ; les flux déjà commencés ne sont jamais relancés.
  • Preuve de règlement indépendante : Chaque tentative de fournisseur conserve sa propre trace comptable. Les tentatives répétées ne transforment pas les résultats amont incertains en coût nul.
  • Frais de plateforme : Si et seulement si la notation Jev a été sollicitée et que la requête globale réussit, des frais de routage de min(20 * L / 1000000 + 0.01505, 0.2) crédits sont facturés sur la requête parente (où L est la longueur UTF-16 de la chaîne compressée). Les montants sont arrondis au micro-USD le plus proche (0.0001 crédits / 4 décimales). Aucun frais n'est prélevé en cas d'échec d'exécution finale ou de succès de cache.
  • Affinité de session et score de secours : Lorsque le cache de session Redis fonctionne normalement, les tours consécutifs avec des identifiants de session correspondants (tels que X-Claude-Code-Session-Id ou X-OpenCode-Session-Id) sont liés au même modèle, ignorant le scoring et les frais lors d'une correspondance valide. Si ce modèle lié échoue, Auto contourne la liaison et évalue une fois l'ensemble des candidats restants ; un basculement réussi avec scoring entraîne les frais de routage standard de la plateforme.