স্মার্ট রাউটিং

এলএলএম অনুরোধের জন্য স্বয়ংক্রিয় সরবরাহকারী রাউটিং, লেটেন্সি অপ্টিমাইজেশন এবং নির্ভরযোগ্য ফেইলওভার।

স্মার্ট রাউটিং (model: "auto" বা model: "auto-cn") স্বাস্থ্যকর মডেলের মধ্যে গতিশীলভাবে অনুরোধ মূল্যায়ন এবং প্রেরণ করে, যা OpenAI, Anthropic এবং Gemini প্রোটোকল সমর্থন করে।

model: "auto" এর ব্যবহার

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

মাল্টি-প্রোটোকল সামঞ্জস্য

  • OpenAI প্রোটোকল: POST /openai/v1/chat/completions এবং POST /v1/chat/completions
  • Anthropic প্রোটোকল: POST /anthropic/v1/messages এবং POST /v1/messages
  • Gemini প্রোটোকল: POST /gemini/v1beta/models/{model}:generateContent

রাউটিং মূল্যায়ন, ফেইলওভার এবং বিলিং

  • মোডালিটি প্রাক-বাছাই: স্বয়ংক্রিয় রাউটিং অনুরোধের ইনপুট মোডালিটি (টেক্সট, ইমেজ, অডিও, ভিডিও, ফাইল), চ্যানেল সক্ষমতা (json_schema/json_object, থিংকিং মোড বন্ধ ইত্যাদি) এবং প্রসঙ্গ উইন্ডো অনুসারে মডেল নির্বাচন করে। অ-পাঠ্য আউটপুট, ইমেজ তৈরির টুল এবং Responses-এর previous_response_id/conversation-এর মতো স্টেটফুল অনুরোধগুলির জন্য স্পষ্ট মডেলের প্রয়োজন এবং অন্যথায় HTTP 400 auto_routing_request_unsupported ফেরত দেয়।
  • একাধিক চেষ্টা ও ফলব্যাক: কোনো প্রার্থীর প্রচেষ্টা ব্যর্থ হলে (অ-2xx প্রতিক্রিয়া, আপস্ট্রিম প্রত্যাখ্যান, টাইমআউট বা পরিবহন ত্রুটি সহ), গেটওয়ে একটি মূল্যায়নের মধ্যে সর্বোচ্চ 3টি ভিন্ন র্যাঙ্কযুক্ত মডেল চেষ্টা করতে পারে। প্রতিটি প্রচেষ্টা স্বাধীন এক্সিকিউশন আইডি-র অধীনে পূর্ববর্তী অনুমোদন, কোটা, রেট সীমা, রাউটিং এবং ফান্ডিং যাচাইকরণ পুনরাবৃত্তি করে; প্রত্যাখ্যাত চেক কখনোই আপস্ট্রিম প্রেরণের অনুমতি দেয় না। ক্লায়েন্ট বাতিল করলে বা প্রতিক্রিয়ার প্রথম বাইট প্রেরিত হলে সাথে সাথে ফলব্যাক বন্ধ হয়; ইতিমধ্যে শুরু হওয়া স্ট্রিম কখনোই পুনরায় চালু করা হয় না।
  • স্বাধীন নিষ্পত্তির প্রমাণ: প্রতিটি সরবরাহকারী প্রচেষ্টা লেজারে নিজস্ব হিসাব রাখে; অনিশ্চিত ফলাফলকে শূন্য খরচ বলে গণ্য করা হয় না।
  • প্ল্যাটফর্ম ফি: যখন Jev স্কোরিং ব্যবহৃত হয় এবং সামগ্রিক অনুরোধ সফল হয়, তখন মূল অনুরোধে min(20 * L / 1000000 + 0.01505, 0.2) credits (যেখানে L হলো সংকুচিত Jev স্টেট স্ট্রিং-এর UTF-16 অক্ষরের দৈর্ঘ্য) রাউটিং ফি ধার্য করা হয়। ফি মাইক্রো-ইউএসডি (0.0001 credits / দশমিকের পরে 4 ঘর) পর্যন্ত রাউন্ড করা হয়। ব্যর্থ এক্সিকিউশন বা ক্যাশ হিটের ক্ষেত্রে কোনো ফি ধার্য করা হয় না।
  • সেশন অ্যাফিনিটি ও ফলব্যাক স্কোরিং: যখন Redis সেশন ক্যাশে সুস্থ থাকে, মিল থাকা সেশন শনাক্তকারী (যেমন X-Claude-Code-Session-Id বা X-OpenCode-Session-Id) সহ ধারাবাহিক অনুরোধগুলি একই মডেলে আবদ্ধ থাকে, একটি বৈধ হিটে স্কোরিং এবং ফি এড়িয়ে যায়। যদি সেই আবদ্ধ মডেল ব্যর্থ হয়, Auto বাইন্ডিং বাইপাস করে এবং অবশিষ্ট প্রার্থীদের মধ্যে একবার স্কোর করে; একটি সফল স্কোর করা ফলব্যাকে স্ট্যান্ডার্ড প্ল্যাটফর্ম রাউটিং ফি প্রযোজ্য হয়।