Penghalaan Pintar
Penghalaan pembekal automatik, pengoptimuman kependaman, dan failover lancar untuk permintaan LLM.
Penghalaan Pintar (model: "auto" atau model: "auto-cn") menilai model huluan yang sihat secara dinamik untuk mengedarkan permintaan merentasi protokol OpenAI, Anthropic, dan Gemini.
Menggunakan model: "auto"
curl "https://api.anyint.ai/openai/v1/chat/completions" \
-H "Authorization: Bearer $ANYINT_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role": "user", "content": "Hello!"}]
}'Keserasian Pelbagai Protokol
- Protokol OpenAI:
POST /openai/v1/chat/completionsdanPOST /v1/chat/completions - Protokol Anthropic:
POST /anthropic/v1/messagesdanPOST /v1/messages - Protokol Gemini:
POST /gemini/v1beta/models/{model}:generateContent
Penilaian Penghalaan, Failover, dan Pengebilan
- Penyaringan awal modaliti: Penghalaan automatik menapis model calon berdasarkan modaliti input permintaan (teks, imej, audio, video, fail), keupayaan saluran (seperti
json_schema/json_objectdan mematikan pemikiran), dan had konteks. Output bukan teks, alat penjanaan imej dan permintaan berkeadaan sepertiprevious_response_id/conversationdalam Responses memerlukan model eksplisit dan mengembalikan HTTP 400auto_routing_request_unsupported. - Failover berbilang percubaan: Jika percubaan calon gagal (termasuk respons bukan 2xx, penolakan huluan, tamat masa, atau ralat pengangkutan), get laluan boleh mencuba sehingga 3 model berkedudukan berbeza dalam satu penilaian. Setiap percubaan mengulangi pemeriksaan kebenaran, kuota, had kadar, penghalaan, dan pembiayaan di bawah ID pelaksanaan bebas; pemeriksaan yang ditolak tidak pernah membenarkan penghantaran ke huluan. Failover berhenti serta-merta selepas pembatalan pelanggan atau penghantaran bait respons pertama; penstriman yang telah bermula tidak pernah dimulakan semula.
- Bukti penyelesaian bebas: Setiap percubaan pembekal mengekalkan rekod perakaunan bebas dalam lejar; hasil yang tidak disahkan tidak dianggap berkos sifar.
- Yuran platform: Yuran penghalaan platform sebanyak
min(20 * L / 1000000 + 0.01505, 0.2)credits—di manaLialah panjang aksara UTF-16 rentetan keadaan mampat—dikenakan secara khusus pada permintaan induk apabila permintaan keseluruhan berjaya apabila pemarkahan Jev digunakan. Yuran dibundarkan separuh menjauhi sifar kepada mikro-USD (0.0001 credits / 4 tempat perpuluhan). Pelaksanaan yang gagal atau capaian cache tidak dikenakan yuran penghalaan. - Afiniti sesi & penskoran sandaran: Apabila cache sesi Redis sihat, giliran berturut-turut dengan pengecam sesi yang sepadan (seperti
X-Claude-Code-Session-IdatauX-OpenCode-Session-Id) terikat pada model yang sama, melangkau penskoran dan yuran pada padanan sah. Jika model terikat gagal, Auto memintas pengikatan dan memberi skor sekali merentas calon yang tinggal; sandaran berskor yang berjaya dikenakan yuran penghalaan platform standard.