Perutean Cerdas
Perutean penyedia otomatis, pengoptimalan latensi, dan failover lancar untuk permintaan LLM.
Perutean Cerdas (model: "auto" atau model: "auto-cn") mengevaluasi model hulu yang sehat secara dinamis untuk mendistribusikan permintaan di seluruh protokol OpenAI, Anthropic, dan Gemini.
Menggunakan model: "auto"
curl "https://api.anyint.ai/openai/v1/chat/completions" \
-H "Authorization: Bearer $ANYINT_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "Hello!"}]
}'Kompatibilitas Multi-Protokol
- Protokol OpenAI:
POST /openai/v1/chat/completionsdanPOST /v1/chat/completions - Protokol Anthropic:
POST /anthropic/v1/messagesdanPOST /v1/messages - Protokol Gemini:
POST /gemini/v1beta/models/{model}:generateContent
Evaluasi Perutean, Failover, dan Penagihan
- Penyaringan modalitas awal: Perutean otomatis menyaring kandidat berdasarkan modalitas input permintaan (teks, gambar, audio, video, file), kapabilitas saluran (seperti
json_schema/json_objectdan penonaktifan penalaran), dan batas konteks. Pembuatan non-teks, alat pembuat gambar, dan permintaan stateful sepertiprevious_response_id/conversationpada Responses memerlukan model eksplisit dan mengembalikan HTTP 400auto_routing_request_unsupported. - Failover multi-upaya: Jika upaya kandidat gagal (termasuk respons non-2xx, penolakan hulu, batas waktu habis, atau kesalahan transportasi), gateway dapat mencoba hingga 3 model berperingkat berbeda dalam satu evaluasi. Setiap upaya mengulangi pemeriksaan otorisasi, kuota, batas laju, perutean, dan pendanaan di bawah ID eksekusi independen; pemeriksaan yang ditolak tidak pernah mengizinkan pengiriman hulu. Failover segera berhenti setelah pembatalan klien atau pengiriman byte respons pertama; streaming yang telah dimulai tidak pernah dimulai ulang.
- Bukti penyelesaian independen: Setiap upaya penyedia mempertahankan catatan akuntansi independen dalam buku besar; hasil hulu yang belum terkonfirmasi tidak dianggap nol biaya.
- Biaya platform: Biaya perutean platform sebesar
min(20 * L / 1000000 + 0.01505, 0.2)credits—di manaLadalah panjang karakter UTF-16 dari string status terkompresi—dikenakan strictly pada permintaan induk saat permintaan secara keseluruhan berhasil ketika penilaian Jev digunakan. Biaya dibulatkan setengah menjauhi nol ke mikro-USD (0.0001 credits / 4 tempat desimal). Eksekusi yang gagal atau cache hit tidak dikenakan biaya perutean. - Afinitas sesi & penilaian fallback: Ketika cache sesi Redis sehat, giliran berturut-turut dengan pengidentifikasi sesi yang cocok (seperti
X-Claude-Code-Session-IdatauX-OpenCode-Session-Id) terikat ke model yang sama, melewatkan penilaian dan biaya pada kecocokan valid. Jika model terikat gagal, Auto melewati pengikatan dan menilai sekali di antara kandidat yang tersisa; fallback yang berhasil dinilai dikenakan biaya perutean platform standar.