Smart Routing

Выбор модели на основе сигналов

Smart Routing будет оценивать тип задачи, сложность, размер контекста, ограничения конфиденциальности, задержку, стоимость и сигналы кэша перед выбором пула моделей и конечной точки.

Интерактивная демонстрация Smart Routing показывает запланированный поток запросов, политик, цепочек плагинов и конечных точек со статическими примерами данных.