Penghalaan Pintar

Penghalaan pembekal automatik, pengoptimuman kependaman, dan failover lancar untuk permintaan LLM.

Penghalaan Pintar (model: "auto" atau model: "auto-cn") menilai model huluan yang sihat secara dinamik untuk mengedarkan permintaan merentasi protokol OpenAI, Anthropic, dan Gemini.

Menggunakan model: "auto"

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Keserasian Pelbagai Protokol

  • Protokol OpenAI: POST /openai/v1/chat/completions dan POST /v1/chat/completions
  • Protokol Anthropic: POST /anthropic/v1/messages dan POST /v1/messages
  • Protokol Gemini: POST /gemini/v1beta/models/{model}:generateContent

Penilaian Penghalaan, Failover, dan Pengebilan

  • Penyaringan awal modaliti: Penghalaan automatik menapis model calon berdasarkan modaliti input permintaan (teks, imej, audio, video, fail), keupayaan saluran (seperti json_schema/json_object dan mematikan pemikiran), dan had konteks. Output bukan teks, alat penjanaan imej dan permintaan berkeadaan seperti previous_response_id/conversation dalam Responses memerlukan model eksplisit dan mengembalikan HTTP 400 auto_routing_request_unsupported.
  • Failover berbilang percubaan: Jika percubaan calon gagal (termasuk respons bukan 2xx, penolakan huluan, tamat masa, atau ralat pengangkutan), get laluan boleh mencuba sehingga 3 model berkedudukan berbeza dalam satu penilaian. Setiap percubaan mengulangi pemeriksaan kebenaran, kuota, had kadar, penghalaan, dan pembiayaan di bawah ID pelaksanaan bebas; pemeriksaan yang ditolak tidak pernah membenarkan penghantaran ke huluan. Failover berhenti serta-merta selepas pembatalan pelanggan atau penghantaran bait respons pertama; penstriman yang telah bermula tidak pernah dimulakan semula.
  • Bukti penyelesaian bebas: Setiap percubaan pembekal mengekalkan rekod perakaunan bebas dalam lejar; hasil yang tidak disahkan tidak dianggap berkos sifar.
  • Yuran platform: Yuran penghalaan platform sebanyak min(20 * L / 1000000 + 0.01505, 0.2) credits—di mana L ialah panjang aksara UTF-16 rentetan keadaan mampat—dikenakan secara khusus pada permintaan induk apabila permintaan keseluruhan berjaya apabila pemarkahan Jev digunakan. Yuran dibundarkan separuh menjauhi sifar kepada mikro-USD (0.0001 credits / 4 tempat perpuluhan). Pelaksanaan yang gagal atau capaian cache tidak dikenakan yuran penghalaan.
  • Afiniti sesi & penskoran sandaran: Apabila cache sesi Redis sihat, giliran berturut-turut dengan pengecam sesi yang sepadan (seperti X-Claude-Code-Session-Id atau X-OpenCode-Session-Id) terikat pada model yang sama, melangkau penskoran dan yuran pada padanan sah. Jika model terikat gagal, Auto memintas pengikatan dan memberi skor sekali merentas calon yang tinggal; sandaran berskor yang berjaya dikenakan yuran penghalaan platform standard.