سمارٹ روٹنگ

LLM درخواستوں کے لیے خودکار فراہم کنندہ روٹنگ، لیٹنسی اصلاح اور ہموار فیل اوور۔

سمارٹ روٹنگ (model: "auto" یا model: "auto-cn") صحت مند ماڈلز کے درمیان متحرک طور پر درخواستوں کا جائزہ لیتی ہے اور تقسیم کرتی ہے، جو OpenAI، Anthropic اور Gemini پروٹوکولز کی حمایت کرتی ہے۔

model: "auto" کا استعمال

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

ملٹی پروٹوکول مطابقت

  • OpenAI پروٹوکول: POST /openai/v1/chat/completions اور POST /v1/chat/completions
  • Anthropic پروٹوکول: POST /anthropic/v1/messages اور POST /v1/messages
  • Gemini پروٹوکول: POST /gemini/v1beta/models/{model}:generateContent

روٹنگ کا جائزہ، فیل اوور اور بلنگ

  • موڈالٹی کی قبل از وقت اسکریننگ: آٹو روٹنگ درخواست کی ان پٹ موڈالٹیز (ٹیکسٹ، تصویر، آڈیو، ویڈیو، فائل)، چینل کی صلاحیتوں (جیسے json_schema/json_object اور سوچ کا موڈ بند کرنا) اور سیاق و سباق کی حدود کی بنیاد پر پہلے سے ماڈل فلٹر کرتی ہے۔ نان ٹیکسٹ آؤٹ پٹ، تصویر بنانے کے ٹولز اور Responses کے previous_response_id/conversation جیسی اسٹیٹ فل درخواستوں کے لیے ایک واضح ماڈل درکار ہوتا ہے اور بصورت دیگر HTTP 400 auto_routing_request_unsupported واپس آتا ہے۔
  • کثیر کوشش فال بیک: اگر کسی امیدوار کی کوشش ناکام ہو جاتی ہے (بشمول غیر 2xx جوابات، اپ اسٹریم انکار، ٹائم آؤٹ، یا ٹرانسپورٹ کی خرابیاں)، تو گیٹ وے ایک ہی تشخیص کے اندر 3 مختلف درجہ بند ماڈلز تک آزما سکتا ہے۔ ہر کوشش آزاد ایگزیکیوشن آئی ڈی کے تحت اجازت، کوٹہ، شرح کی حد، روٹنگ اور فنڈنگ کی جانچ کو دہراتی ہے؛ مسترد شدہ چیک کبھی بھی اپ اسٹریم بھیجنے کی اجازت نہیں دیتا ہے۔ کلائنٹ کی منسوخی یا پہلی بائٹ کی ترسیل کے بعد فال بیک فوری طور پر رک جاتا ہے؛ پہلے سے شروع کردہ اسٹریمز کو کبھی دوبارہ شروع نہیں کیا جاتا۔
  • آزادانہ تصفیہ کے شواہد: فراہم کنندہ کی ہر کوشش لیجر میں اپنا آزادانہ ریکارڈ برقرار رکھتی ہے؛ غیر مصدقہ نتائج کو صفر لاگت نہیں مانا جاتا۔
  • پلیٹ فارم فیس: جب Jev اسکورنگ استعمال ہوتی ہے اور مجموعی درخواست کامیاب ہوتی ہے، تب اصل درخواست پر min(20 * L / 1000000 + 0.01505, 0.2) credits پلیٹ فارم روٹنگ فیس (جہاں L کمپریسڈ اسٹیٹ اسٹرنگ کی UTF-16 لمبائی ہے) وصول کی جاتی ہے۔ فیس کو صفر سے دور نصف کے اصول کے تحت مائیکرو یو ایس ڈی (0.0001 credits / اعشاریہ کے بعد 4 ہندسے) تک راؤنڈ کیا جاتا ہے۔ ناکام ایگزیکیوشن یا کیشے ہٹ پر کوئی فیس عائد نہیں ہوتی۔
  • سیشن وابستگی اور فال بیک اسکورنگ: جب Redis سیشن کیش فعال ہو، مماثل سیشن شناخت کنندگان (جیسے X-Claude-Code-Session-Id یا X-OpenCode-Session-Id) والے مسلسل ٹرنز اسی ماڈل سے جڑ جاتے ہیں، جس سے اسکورنگ اور فیس معاف ہو جاتی ہے۔ اگر وہ منسلک ماڈل ناکام ہو جاتا ہے، تو Auto بائنڈنگ کو نظرانداز کرتا ہے اور باقی امیدواروں پر ایک بار اسکورنگ کرتا ہے؛ کامیاب فال بیک پر معیاری پلیٹ فارم روٹنگ فیس لاگو ہوتی ہے۔