スマートルーティング

大規模言語モデルリクエストに対する自動プロバイダールーティング、レイテンシ最適化、およびスムーズなフェイルオーバー。

スマートルーティング(model: "auto" または model: "auto-cn")は、健全な上流モデル間でリクエストを動的に評価・配信し、OpenAI、Anthropic、Gemini などのプロトコルをサポートします。

model: "auto" の使用

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

マルチプロトコル互換性

  • OpenAI プロトコル:POST /openai/v1/chat/completions および POST /v1/chat/completions
  • Anthropic プロトコル:POST /anthropic/v1/messages および POST /v1/messages
  • Gemini プロトコル:POST /gemini/v1beta/models/{model}:generateContent

ルーティング評価、フォールバック、および請求

  • モダリティ事前スクリーニング:自動ルーティングはリクエストに含まれる入力モダリティ(テキスト、画像、音声、動画、ファイル)、チャネル能力(json_schema/json_object や思考無効化サポートなど)、コンテキスト長を厳格に事前選別します。非テキスト出力、画像生成ツール、Responses の previous_response_id/conversation などのステートフルな要求には明示的なモデルが必要であり、そうでない場合は HTTP 400 auto_routing_request_unsupported を返します。
  • 複数試行フォールバック:候補の試行が失敗した場合(非 2xx レスポンス、上流拒否、タイムアウト、トランスポートエラーなど)、ゲートウェイは 1 回の特徴評価内で最大 3 つの異なる順位付けモデルを試行します。各試行は独立した実行 ID の下で認証、割り当て、レート制限、ルーティング、および資金チェックを繰り返し、拒否されたチェックは決してディスパッチを許可しません。クライアントの中断または最初のバイト配信後はクロスモデルフォールバックを停止します。配信開始済みストリームが再起動されることはありません。
  • 試行ごとの独立決済:各プロバイダー試行は台帳に独立した証跡を保持し、未確認の上流結果は費用ゼロとは見なされず請求ルールに従って記録されます。
  • プラットフォーム手数料:Jev スコアリングが使用されリクエスト全体が最終的に成功した場合にのみ、親リクエストに対して min(20 * L / 1000000 + 0.01505, 0.2) credits(L は圧縮状態文字列の UTF-16 長さ)の手数料が課金されます。金額はマイクロ USD(0.0001 credits / 小数点第 4 位)に四捨五入されます。失敗またはキャッシュヒット時は手数料は発生しません。
  • セッション親和性とフォールバックスコアリング:Redis セッションキャッシュが正常な場合、一致するセッション識別子(X-Claude-Code-Session-Id や X-OpenCode-Session-Id など)を持つ連続ターンは同一モデルにバインドされ、ヒット時はスコアリングとルーティング料金をスキップします。バインドされたモデルが失敗した場合、Auto はバインドをバイパスして残りの候補全体で1回スコアリングを実行します。フォールバックが成功した場合、通常のプラットフォームルーティング料金が発生します。