指南
概览
AnyInt 不仅仅是传输层。该平台还会改变应用在投入生产后如何表现：输出如何流式传输，密钥如何限制，路由如何应用，以及模型输出如何为下游系统进行调整。
AnyInt 不仅仅是传输层。该平台还会改变应用在投入生产后如何表现：输出如何流式传输，密钥如何限制，路由如何应用，以及模型输出如何为下游系统进行调整。
| 功能领域 | 它影响什么 |
|---|
| 流式传输 | 用户看到输出的速度 |
| 结构化输出 | 你将模型输出安全注入代码的能力 |
| 工具调用 | 模型如何与外部系统交互 |
| 提示缓存 | 重复上下文如何降低成本和延迟 |
| 路由和回退 | 流量如何在不同模型和提供商之间流转 |
| 防护栏 | 密钥、团队和策略如何控制使用 |
| 集成验证 | 上线前如何验证鉴权、模型 ID、流式输出、异步任务、回调和重试 |
其中一些取决于模型。另一些则是账户、密钥或组织层面的功能。请使用下面链接的页面来判断某种行为实际属于哪里。
- 阅读 流式传输 如果你的 UI 依赖低延迟输出
- 阅读 结构化输出 和 工具调用 如果模型输出会进入代码或工作流
- 阅读 路由， 模型，以及模型回退，如果可靠性和成本控制很重要
- 上线生产客户集成前，阅读 验证你的集成