स्मार्ट रूटिंग

एलएलएम अनुरोधों के लिए स्वचालित प्रदाता रूटिंग, लेटेंसी अनुकूलन और सुचारू फ़ेलओवर।

स्मार्ट रूटिंग (model: "auto" या model: "auto-cn") स्वस्थ अपस्ट्रीम मॉडलों के बीच गतिशील रूप से अनुरोधों का मूल्यांकन और वितरण करता है, जो OpenAI, Anthropic और Gemini प्रोटोकॉल का समर्थन करता है।

model: "auto" का उपयोग

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

मल्टी-प्रोटोकॉल संगतता

  • OpenAI प्रोटोकॉल: POST /openai/v1/chat/completions और POST /v1/chat/completions
  • Anthropic प्रोटोकॉल: POST /anthropic/v1/messages और POST /v1/messages
  • Gemini प्रोटोकॉल: POST /gemini/v1beta/models/{model}:generateContent

रूटिंग मूल्यांकन, फ़ेलओवर और बिलिंग

  • मोडैलिटी पूर्व-स्क्रीनिंग: ऑटो रूटिंग अनुरोध के इनपुट मोडैलिटी (टेक्स्ट, छवि, ऑडियो, वीडियो, फ़ाइल), चैनल क्षमताओं (जैसे json_schema/json_object और सोच मोड अक्षम समर्थन) और संदर्भ सीमाओं के आधार पर मॉडल को पहले से फ़िल्टर करता है। गैर-टेक्स्ट आउटपुट, छवि निर्माण टूल और Responses के previous_response_id/conversation जैसे स्टेटफुल अनुरोधों के लिए एक स्पष्ट मॉडल की आवश्यकता होती है और अन्यथा HTTP 400 auto_routing_request_unsupported लौटाया जाता है।
  • बहु-प्रयास फ़ेलओवर: यदि कोई उम्मीदवार प्रयास विफल हो जाता है (गैर-2xx प्रतिक्रियाएं, अपस्ट्रीम अस्वीकृति, टाइमआउट या नेटवर्क त्रुटियां शामिल), तो गेटवे एकल मूल्यांकन में अधिकतम 3 अलग-अलग रैंक वाले मॉडलों का प्रयास कर सकता है। प्रत्येक प्रयास एक स्वतंत्र निष्पादन आईडी के तहत प्राधिकरण, कोटा, दर सीमा, रूटिंग और फंडिंग जांच को दोहराता है; अस्वीकृत जांच कभी भी अपस्ट्रीम डिस्पैच को अधिकृत नहीं करती है। क्लाइंट रद्दीकरण या पहली बाइट डिलीवरी के बाद फ़ेलओवर तुरंत रुक जाता है; पहले से शुरू किए गए स्ट्रीम को कभी दोबारा शुरू नहीं किया जाता है।
  • स्वतंत्र निपटान साक्ष्य: प्रत्येक प्रदाता प्रयास लेज़र में अपना स्वतंत्र साक्ष्य बनाए रखता है; अनिश्चित परिणामों को शून्य लागत नहीं माना जाता है।
  • प्लेटफ़ॉर्म शुल्क: जब Jev स्कोरिंग का उपयोग किया जाता है और समग्र अनुरोध सफल होता है, केवल तभी मूल अनुरोध पर min(20 * L / 1000000 + 0.01505, 0.2) credits प्लेटफ़ॉर्म रूटिंग शुल्क (जहाँ L संपीड़ित स्थिति स्ट्रिंग की UTF-16 लंबाई है) लिया जाता है। शुल्क को शून्य से दूर आधे से माइक्रो-यूएसडी (0.0001 credits / दशमलव के बाद 4 अंक) तक पूर्णांकित किया जाता है। विफल निष्पादन या कैश हिट पर कोई शुल्क नहीं लिया जाता है।
  • सत्र आकर्षण और फ़ॉलबैक स्कोरिंग: जब Redis सत्र कैश स्वस्थ होता है, तो मिलान सत्र पहचानकर्ता (जैसे X-Claude-Code-Session-Id या X-OpenCode-Session-Id) वाले लगातार मोड़ उसी मॉडल से बंधते हैं, जिससे स्कोरिंग और शुल्क छोड़ दिए जाते हैं। यदि वह बाध्य मॉडल विफल हो जाता है, तो Auto बाइंडिंग को बायपास करता है और शेष उम्मीदवारों में एक बार स्कोर करता है; एक सफल स्कोर किए गए फ़ॉलबैक पर मानक प्लेटफ़ॉर्म रूटिंग शुल्क लगता है।