スマートルーティング

シグナル駆動のモデル選択

スマートルーティングは、タスクタイプ、複雑さ、コンテキストサイズ、プライバシー制約、レイテンシ、コスト、およびキャッシュシグナルを評価してから、モデルプールとエンドポイントを選択します。

インタラクティブなスマートルーティングデモは、静的なサンプルデータを使用した、計画されたリクエスト、ポリシー、プラグインチェーン、およびエンドポイントフローを示しています。