Умная маршрутизация
Автоматическая маршрутизация запросов, оптимизация задержек и надежное аварийное переключение для моделей LLM.
Умная маршрутизация (model: "auto" или model: "auto-cn") динамически оценивает работоспособные модели для распределения запросов по протоколам OpenAI, Anthropic и Gemini.
Использование model: "auto"
curl "https://api.anyint.ai/openai/v1/chat/completions" \
-H "Authorization: Bearer $ANYINT_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "Hello!"}]
}'Мультипротокольная совместимость
- Протокол OpenAI:
POST /openai/v1/chat/completionsиPOST /v1/chat/completions - Протокол Anthropic:
POST /anthropic/v1/messagesиPOST /v1/messages - Протокол Gemini:
POST /gemini/v1beta/models/{model}:generateContent
Оценка маршрутизации, переключение и тарификация
- Предварительный скрининг модальностей: Автомаршрутизация предварительно фильтрует кандидатов на основе входных модальностей запроса (текст, изображение, аудио, видео, файл), возможностей канала (таких как
json_schema/json_objectи отключение рассуждений) и контекстных лимитов. Запросы с нетекстовым выводом, инструментами генерации изображений и сохранением состояния, такие какprevious_response_id/conversationв Responses, требуют явного указания модели и возвращают HTTP 400auto_routing_request_unsupported. - Отказоустойчивое переключение: При неудачной попытке кандидата (включая ответы не-2xx, отказы поставщика, таймауты и транспортные ошибки) шлюз может опробовать до 3 различных ранжированных моделей в рамках единой оценки. Каждая попытка повторяет проверки авторизации, квот, ограничений скорости, маршрутизации и финансирования под независимым ID исполнения; непройденная проверка никогда не допускает отправку запроса. Переключение немедленно прекращается при отмене клиентом или после отправки клиенту первого байта; начатые потоки никогда не перезапускаются.
- Независимые свидетельства расчетов: Каждая попытка поставщика сохраняет отдельную запись в финансовом реестре; повторные попытки не превращают неопределенные результаты в нулевую стоимость.
- Платформенный сбор: При использовании оценки Jev и успешном выполнении запроса в целом на родительский запрос начисляется сбор за маршрутизацию в размере
min(20 * L / 1000000 + 0.01505, 0.2)кредитов (гдеL— длина строки UTF-16 сжатого состояния). Суммы округляются до микро-USD (0.0001 кредитов / 4 знака после запятой). При сбоях финального выполнения или попадании в кэш сбор не взимается. - Аффинитет сессий и оценка при откате: При исправном кэше сессий Redis последовательные запросы с совпадающими идентификаторами сессий (такими как
X-Claude-Code-Session-IdилиX-OpenCode-Session-Id) привязываются к одной модели, пропуская оценку и комиссии при валидном попадании. Если привязанная модель дает сбой, Auto обходит привязку и однократно оценивает оставшихся кандидатов; успешный откат с оценкой облагается стандартной комиссией платформы за маршрутизацию.