Roteamento Inteligente
O Roteamento Inteligente estará disponível em breve.
Seleção de modelo orientada por sinais
O Roteamento Inteligente avaliará o tipo de tarefa, complexidade, tamanho do contexto, restrições de privacidade, latência, custo e sinais de cache antes de escolher um pool de modelos e um endpoint.
A demonstração interativa Roteamento Inteligente mostra o fluxo planejado de solicitação, política, cadeia de plugins e endpoint com dados de exemplo estáticos.