스마트 라우팅

대규모 언어 모델 요청에 대한 자동 공급자 라우팅, 지연 시간 최적화 및 유연한 장애 조치.

스마트 라우팅(model: "auto" 또는 model: "auto-cn")은 정상 작동하는 업스트림 모델 간에 요청을 동적으로 평가 및 전달하며 OpenAI, Anthropic, Gemini 프로토콜을 지원합니다.

model: "auto" 사용법

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

다중 프로토콜 호환성

  • OpenAI 프로토콜: POST /openai/v1/chat/completions 및 POST /v1/chat/completions
  • Anthropic 프로토콜: POST /anthropic/v1/messages 및 POST /v1/messages
  • Gemini 프로토콜: POST /gemini/v1beta/models/{model}:generateContent

라우팅 평가, 장애 조치 및 결제

  • 후보 모달리티 검별: 자동 라우팅은 요청에 포함된 입력 모달리티(텍스트, 이미지, 오디오, 비디오, 파일), 채널 역량(json_schema/json_object, 사고 모드 비활성화 지원 등) 및 컨텍스트 한도를 사전에 엄격히 필터링합니다. 텍스트가 아닌 출력, 이미지 생성 도구 및 Responses의 previous_response_id/conversation과 같은 상태 유지 요청은 명시적인 모델을 지정해야 하며, 그렇지 않으면 HTTP 400 auto_routing_request_unsupported를 반환합니다.
  • 다중 시도 장애 조치: 후보 시도가 실패하면(비 2xx 응답, 공급자 거부, 시간 초과, 전송 오류 등) 게이트웨이는 단일 특성 평가 내에서 최대 3개의 서로 다른 순위 모델을 시도합니다. 각 시도는 독립적인 실행 ID 하에서 기존의 권한, 할당량, 속도 제한, 라우팅 및 자금 검증을 반복하며, 승인되지 않은 검증은 절대 디스패치를 허용하지 않습니다. 클라이언트 취소 또는 첫 번째 바이트 전송 후에는 교차 모델 장애 조치가 중단되며, 이미 시작된 스트림은 재시작되지 않습니다.
  • 시도별 독립 정산: 각 공급자 시도는 원장에 독립적인 증빙을 유지하며 확인되지 않은 업스트림 결과는 비용 0원으로 간주되지 않고 청구 규칙에 따라 기록됩니다.
  • 플랫폼 수수료: Jev 채점이 사용되고 전체 요청이 최종적으로 성공한 경우에만 상위 요청에 대해 min(20 * L / 1000000 + 0.01505, 0.2) credits(L은 압축 상태 문자열의 UTF-16 길이)의 플랫폼 라우팅 수수료가 청구됩니다. 수수료는 마이크로 USD(0.0001 credits / 소수점 4자리)로 반올림됩니다. 실패 또는 캐시 히트 시에는 수수료가 부과되지 않습니다.
  • 세션 선호도 및 대체 점수 평가: Redis 세션 캐시가 정상일 때 일치하는 세션 식별자(X-Claude-Code-Session-Id 또는 X-OpenCode-Session-Id 등)를 가진 연속 대화는 동일한 모델에 바인딩되어 적중 시 점수 평가와 수수료가 생략됩니다. 바인딩된 모델이 실패하면 Auto는 바인딩을 우회하고 나머지 후보 전체에 대해 1회 점수를 평가합니다. 대체 호출이 성공하면 표준 플랫폼 라우팅 수수료가 부과됩니다.