Умная маршрутизация

Автоматическая маршрутизация запросов, оптимизация задержек и надежное аварийное переключение для моделей LLM.

Умная маршрутизация (model: "auto" или model: "auto-cn") динамически оценивает работоспособные модели для распределения запросов по протоколам OpenAI, Anthropic и Gemini.

Использование model: "auto"

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Мультипротокольная совместимость

  • Протокол OpenAI: POST /openai/v1/chat/completions и POST /v1/chat/completions
  • Протокол Anthropic: POST /anthropic/v1/messages и POST /v1/messages
  • Протокол Gemini: POST /gemini/v1beta/models/{model}:generateContent

Оценка маршрутизации, переключение и тарификация

  • Предварительный скрининг модальностей: Автомаршрутизация предварительно фильтрует кандидатов на основе входных модальностей запроса (текст, изображение, аудио, видео, файл), возможностей канала (таких как json_schema/json_object и отключение рассуждений) и контекстных лимитов. Запросы с нетекстовым выводом, инструментами генерации изображений и сохранением состояния, такие как previous_response_id/conversation в Responses, требуют явного указания модели и возвращают HTTP 400 auto_routing_request_unsupported.
  • Отказоустойчивое переключение: При неудачной попытке кандидата (включая ответы не-2xx, отказы поставщика, таймауты и транспортные ошибки) шлюз может опробовать до 3 различных ранжированных моделей в рамках единой оценки. Каждая попытка повторяет проверки авторизации, квот, ограничений скорости, маршрутизации и финансирования под независимым ID исполнения; непройденная проверка никогда не допускает отправку запроса. Переключение немедленно прекращается при отмене клиентом или после отправки клиенту первого байта; начатые потоки никогда не перезапускаются.
  • Независимые свидетельства расчетов: Каждая попытка поставщика сохраняет отдельную запись в финансовом реестре; повторные попытки не превращают неопределенные результаты в нулевую стоимость.
  • Платформенный сбор: При использовании оценки Jev и успешном выполнении запроса в целом на родительский запрос начисляется сбор за маршрутизацию в размере min(20 * L / 1000000 + 0.01505, 0.2) кредитов (где L — длина строки UTF-16 сжатого состояния). Суммы округляются до микро-USD (0.0001 кредитов / 4 знака после запятой). При сбоях финального выполнения или попадании в кэш сбор не взимается.
  • Аффинитет сессий и оценка при откате: При исправном кэше сессий Redis последовательные запросы с совпадающими идентификаторами сессий (такими как X-Claude-Code-Session-Id или X-OpenCode-Session-Id) привязываются к одной модели, пропуская оценку и комиссии при валидном попадании. Если привязанная модель дает сбой, Auto обходит привязку и однократно оценивает оставшихся кандидатов; успешный откат с оценкой облагается стандартной комиссией платформы за маршрутизацию.