التوجيه الذكي

توجيه تلقائي للمزودين، وتحسين زمن الاستجابة، وتجاوز سلس للأخطاء لطلبات نماذج اللغة الكبيرة.

يقوم التوجيه الذكي (model: "auto" أو model: "auto-cn") بتقييم النماذج الصحية بشكل ديناميكي لتوزيع الطلبات عبر بروتوكولات OpenAI و Anthropic و Gemini.

استخدام model: "auto"

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

التوافق متعدد البروتوكولات

  • بروتوكول OpenAI: POST /openai/v1/chat/completions و POST /v1/chat/completions
  • بروتوكول Anthropic: POST /anthropic/v1/messages و POST /v1/messages
  • بروتوكول Gemini: POST /gemini/v1beta/models/{model}:generateContent

تقييم التوجيه، التراجع والفوترة

  • فحص الوسائط المسبق: يفلتر التوجيه التلقائي النماذج المرشحة مسبقاً بناءً على وسائط الإدخال للطلب (نص، صورة، صوت، فيديو، ملف) وإمكانيات القناة (مثل json_schema/json_object ودعم إيقاف التفكير) وحدود السياق. تتطلب المخرجات غير النصية وأدوات توليد الصور والطلبات ذات الحالة مثل previous_response_id/conversation في Responses نموذجاً صريحاً وترجع HTTP 400 auto_routing_request_unsupported.
  • تجاوز الفشل متعدد المحاولات: إذا فشلت محاولة مرشح (بما في ذلك استجابات غير 2xx أو الرفض من المزود أو انتهاء المهلة أو أخطاء النقل)، قد تجرب البوابة ما يصل إلى 3 نماذج مصنفة مختلفة في تقييم واحد. تكرر كل محاولة عمليات التحقق من التفويض والحصص وحدود المعدل والتوجيه والتمويل تحت معرف تنفيذ مستقل؛ ولا يُسمح بالإرسال أبداً في حال فشل أي تحقق. يتوقف تجاوز الفشل فوراً عند إلغاء العميل أو تسليم أول بايت من الاستجابة؛ ولا تتم إعادة تشغيل تدفقات البث التي بدأت بالفعل أبداً.
  • إثبات تسوية مستقل: تحتفظ كل محاولة مزود بسجل تسوية مستقل في دفتر الأستاذ؛ ولا تحول المحاولات المتكررة النتائج غير المؤكدة إلى تكلفة صفرية.
  • رسوم المنصة: تُفرض رسوم توجيه المنصة بقيمة min(20 * L / 1000000 + 0.01505, 0.2) credits—حيث L هو طول سلسلة الحالة المضغوطة بترميز UTF-16—حصرياً على الطلب الأصلي عند نجاح الطلب الإجمالي مع تقييم Jev. يتم تقريب الرسوم بالنصف بعيداً عن الصفر إلى ميكرو دولار (0.0001 credits / أربعة أرقام عشرية). لا تُفرض أي رسوم في حال فشل التنفيذ النهائي أو عند إصابة الذاكرة المؤقتة.
  • ألفة الجلسة وتقييم التراجع: عندما تكون ذاكرة التخزين المؤقت لجلسات Redis سليمة، ترتبط الجولات المتتالية ذات معرفات الجلسة المتطابقة (مثل X-Claude-Code-Session-Id أو X-OpenCode-Session-Id) بالنموذج نفسه، متجاوزة التقييم والرسوم عند المطابقة. وإذا فشل النموذج المرتبط، يتجاوز التوجيه التلقائي الربط ويقيم المرشحين المتبقين مرة واحدة؛ ويخضع التراجع الناجح ذو التقييم لرسوم توجيه المنصة القياسية.