Enrutamiento inteligente
El enrutamiento inteligente llegará pronto.
Selección de modelos basada en señales
El enrutamiento inteligente evaluará el tipo de tarea, la complejidad, el tamaño del contexto, las restricciones de privacidad, la latencia, el coste y las señales de caché antes de elegir un grupo de modelos y un punto de conexión.
La demostración interactiva de Enrutamiento inteligente muestra el flujo planificado de solicitudes, políticas, cadenas de plugins y puntos de conexión con datos de ejemplo estáticos.