Định tuyến Thông minh

Tự động định tuyến nhà cung cấp, tối ưu hóa độ trễ và chuyển đổi dự phòng mượt mà cho các yêu cầu LLM.

Định tuyến Thông minh (model: "auto" hoặc model: "auto-cn") đánh giá động các mô hình ngược dòng khả dụng để điều phối yêu cầu qua các giao thức OpenAI, Anthropic và Gemini.

Sử dụng model: "auto"

bash
curl "https://api.anyint.ai/openai/v1/chat/completions" \
  -H "Authorization: Bearer $ANYINT_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Tương thích Đa Giao thức

  • Giao thức OpenAI: POST /openai/v1/chat/completions và POST /v1/chat/completions
  • Giao thức Anthropic: POST /anthropic/v1/messages và POST /v1/messages
  • Giao thức Gemini: POST /gemini/v1beta/models/{model}:generateContent

Đánh giá Định tuyến, Dự phòng và Thanh toán

  • Sàng lọc phương thức ban đầu: Định tuyến tự động lọc trước các ứng viên dựa trên phương thức đầu vào của yêu cầu (văn bản, hình ảnh, âm thanh, video, tệp), năng lực kênh (như json_schema/json_object và tắt suy luận) cùng giới hạn ngữ cảnh. Đầu ra phi văn bản, công cụ tạo ảnh và các yêu cầu trạng thái như previous_response_id/conversation trong Responses yêu cầu mô hình rõ ràng và trả về HTTP 400 auto_routing_request_unsupported.
  • Dự phòng đa lần thử: Nếu một lần thử ứng viên thất bại (bao gồm phản hồi không phải 2xx, từ chối từ thượng nguồn, hết thời gian hoặc lỗi truyền tải), cổng có thể thử tối đa 3 mô hình xếp hạng khác nhau trong một lần đánh giá. Mỗi lần thử lặp lại các kiểm tra ủy quyền, hạn ngạch, giới hạn tốc độ, định tuyến và cấp vốn hiện có dưới một ID thực thi độc lập; kiểm tra bị từ chối không bao giờ cho phép gửi lên thượng nguồn. Quá trình dự phòng dừng lại ngay lập tức khi khách hàng hủy hoặc byte phản hồi đầu tiên được gửi đi; luồng đã bắt đầu không bao giờ được khởi động lại.
  • Bằng chứng quyết toán độc lập: Mỗi lần thử với nhà cung cấp đều lưu giữ bằng chứng kế toán riêng biệt trong sổ cái; các kết quả chưa xác nhận không được coi là chi phí bằng không.
  • Phí nền tảng: Phí định tuyến nền tảng là min(20 * L / 1000000 + 0.01505, 0.2) credits—trong đó L là độ dài ký tự UTF-16 của chuỗi trạng thái nén—được tính nghiêm ngặt trên yêu cầu cha khi toàn bộ yêu cầu thành công nếu sử dụng tính điểm Jev. Phí được làm tròn nửa xa số không đến micro-USD (0.0001 credits / 4 chữ số thập phân). Các lần thực thi thất bại hoặc truy cập trúng bộ nhớ cache không bị tính phí định tuyến.
  • Độ gắn kết phiên & chấm điểm dự phòng: Khi bộ nhớ cache phiên Redis hoạt động bình thường, các lượt liên tiếp có mã định danh phiên khớp nhau (như X-Claude-Code-Session-Id hoặc X-OpenCode-Session-Id) sẽ liên kết với cùng một mô hình, bỏ qua việc chấm điểm và phí khi khớp hợp lệ. Nếu mô hình liên kết đó thất bại, Auto sẽ bỏ qua liên kết và chấm điểm một lần trên các ứng viên còn lại; trường hợp dự phòng có chấm điểm thành công sẽ chịu phí định tuyến nền tảng tiêu chuẩn.