Perutean Cerdas

Perutean penyedia otomatis, pengoptimalan latensi, dan failover lancar untuk permintaan LLM.

Perutean Cerdas (model: "auto" atau model: "auto-cn") mengevaluasi model hulu yang sehat secara dinamis untuk mendistribusikan permintaan di seluruh protokol OpenAI, Anthropic, dan Gemini.

Menggunakan model: "auto"

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Kompatibilitas Multi-Protokol

  • Protokol OpenAI: POST /openai/v1/chat/completions dan POST /v1/chat/completions
  • Protokol Anthropic: POST /anthropic/v1/messages dan POST /v1/messages
  • Protokol Gemini: POST /gemini/v1beta/models/{model}:generateContent

Evaluasi Perutean, Failover, dan Penagihan

  • Penyaringan modalitas awal: Perutean otomatis menyaring kandidat berdasarkan modalitas input permintaan (teks, gambar, audio, video, file), kapabilitas saluran (seperti json_schema/json_object dan penonaktifan penalaran), dan batas konteks. Pembuatan non-teks, alat pembuat gambar, dan permintaan stateful seperti previous_response_id/conversation pada Responses memerlukan model eksplisit dan mengembalikan HTTP 400 auto_routing_request_unsupported.
  • Failover multi-upaya: Jika upaya kandidat gagal (termasuk respons non-2xx, penolakan hulu, batas waktu habis, atau kesalahan transportasi), gateway dapat mencoba hingga 3 model berperingkat berbeda dalam satu evaluasi. Setiap upaya mengulangi pemeriksaan otorisasi, kuota, batas laju, perutean, dan pendanaan di bawah ID eksekusi independen; pemeriksaan yang ditolak tidak pernah mengizinkan pengiriman hulu. Failover segera berhenti setelah pembatalan klien atau pengiriman byte respons pertama; streaming yang telah dimulai tidak pernah dimulai ulang.
  • Bukti penyelesaian independen: Setiap upaya penyedia mempertahankan catatan akuntansi independen dalam buku besar; hasil hulu yang belum terkonfirmasi tidak dianggap nol biaya.
  • Biaya platform: Biaya perutean platform sebesar min(20 * L / 1000000 + 0.01505, 0.2) credits—di mana L adalah panjang karakter UTF-16 dari string status terkompresi—dikenakan strictly pada permintaan induk saat permintaan secara keseluruhan berhasil ketika penilaian Jev digunakan. Biaya dibulatkan setengah menjauhi nol ke mikro-USD (0.0001 credits / 4 tempat desimal). Eksekusi yang gagal atau cache hit tidak dikenakan biaya perutean.
  • Afinitas sesi & penilaian fallback: Ketika cache sesi Redis sehat, giliran berturut-turut dengan pengidentifikasi sesi yang cocok (seperti X-Claude-Code-Session-Id atau X-OpenCode-Session-Id) terikat ke model yang sama, melewatkan penilaian dan biaya pada kecocokan valid. Jika model terikat gagal, Auto melewati pengikatan dan menilai sekali di antara kandidat yang tersisa; fallback yang berhasil dinilai dikenakan biaya perutean platform standar.