Routage intelligent
Le routage intelligent sera bientôt disponible.
Sélection de modèle pilotée par signaux
Le routage intelligent évaluera le type de tâche, la complexité, la taille du contexte, les contraintes de confidentialité, la latence, le coût et les signaux de cache avant de choisir un pool de modèles et un point de terminaison.
La démo interactive Routage intelligent montre la requête planifiée, la politique, la chaîne de plugins et le flux de point de terminaison avec des données d'exemple statiques.