降低 AI 成本，同时 保障质量
比较 AI 模型和提供商价格，估算批处理成本，仅为实际执行的任务付费。
费用去向
示例 · 每 100 美元
- 标准实时费用同工作负载按参考费率计算。
- US$100.00
- 提供商批处理价格假设批处理费率低 50%。
- US$50.00−50%
- 更低的合格提供商成本假设基础价格低 12%。
- US$44.00−12%
- 原生提供商折扣提供商成本优惠 10%。
- US$39.60−10%
- Batchrouter 服务费按折扣前 44 美元基数收取 5.90%。
- +US$2.60+5.90%
- 示例令牌总成本
- US$42.20
- 同模型下 OpenAI 和 Anthropic 批处理费率与标准费率对比
- ≈50%
- OpenAI 和 Anthropic 原生通道额外优惠
- −10%
- 估算用于预留，收据按实际运行计费
- 实际用量
- 超出交付时间窗则退还服务费
- Standard 24 小时
节省从何而来
批处理定价、提供商选择和按实际用量结算。迁移工作负载前，先了解影响成本的因素。
无需即刻回答的任务交给批处理
夜间数据增强、文档流水线、历史数据补处理和标注均可批量运行。任务可以等待时，使用已发布的批处理价格。
每次运行都比较提供商
提供商价格各异，最便宜的合格通道也可能随每次运行变化。仅接入一家就受其定价限制。我们对每个批次重新比较。
只有质量达标的节省才算数
答错的低价模型并不划算。迁移生产任务前请用自身数据比较候选模型。自动评估即将推出。
仅为实际运行付费
任务开始前即可查看成本，结束后按实际用量结算。未花费的预留金额直接退回。无订阅或最低消费。
OpenAI 和 Anthropic 公布的批处理价格比标准 API 价格低 50%。仍需确认模型是否适用以及当前费率。
可等待数小时的任务，理应更省钱
如果没有人正在等待即时回答，您可以用延迟交付换取批处理价格。先看一个计算示例，再根据已发布的目录估算自己的任务量。
示例场景 · 电子商务
夜间目录增强
商城每天收到数千条新商品，标题简略、缺少属性、分类不一致。
- 任务
- 为每条新商品重写标题、提取尺寸、颜色和材质并分配分类。
- 为何可以等待
- 商品次日早晨上线。无需即时等待单条结果，因此不必为即时回答付费。
- 示例质量目标
- 在已标注样本上，分类与人工审核一致率至少为 95%。
- 示例任务量
- 每晚约 12 万条商品
这些是供您使用自身数据测试的示例目标，并非实测结果。自动评估即将推出。
示例月成本
电子商务- 标准实时费用
- US$9,600.00
- 批处理路由费用
- US$4,050.00
示例中每 100 美元的去向
假设金额，非客户结果或报价。假设提供商批处理降价 50%、符合要求的提供商基础成本再低 12%、原生提供商折扣 10%，以及按折扣前提供商成本收取 5.90% 服务费。不含通道和工具费用。实际成本取决于模型、任务量和当前已发布费率。
100 美元计算示例
- 标准实时费用
- US$100.00
- 提供商批处理成本
- US$50.00
- 假设的更低合格提供商成本
- US$44.00
- 原生提供商折扣后
- US$39.60
- 按折扣前提供商成本计算的服务费
- US$2.60
- 示例令牌总成本
- US$42.20
判断很简单
适合批处理的工作负载具有三个共同点：
- 大量项目，每项使用相同指令。
- 结果稍后查看：表格、索引、报告或队列。
- 您能定义什么样的回答是合格的。
以下任务请使用 Realtime
有人等待时请使用即时响应：
- 用户正在等待的聊天回复
- 自动补全或产品内建议
- 对话中的语音或支持智能体
- 任何必须数秒内回答的任务
Realtime 等级通过 POST /v1/chat/completions 尽力响应，按通道直接价格收费。
便宜也要 质量达标
公开基准使用他人的数据。请用您自己的数据为候选模型评分，按业务需求设定门槛，再从达标模型中根据价格作出选择。
- 提供自己的任务样本，并定义合格回答。
- 所有候选提供商同时运行：一个任务、一个价格、一次结算。
- 评分由我们完成，无需额外付费。您仅支付推理费用。
- 模型必须证明它能达到您的门槛，不能仅平均达标。
评分卡
您的门槛：0.92| 模型 | 评分 | 费用 / 千次 | 结论 |
|---|---|---|---|
| Sonnet 级 | 0.96 | US$2.41 | 达标 · 价格为 2.8 倍 |
| Haiku 级 | 0.94 | US$0.86 | 最便宜的达标项 · 路由到此 |
| Mini 级 | 0.91 | US$0.71 | 低于您的门槛 |
| 开放权重 70B | 0.78 | US$0.34 | 低于您的门槛 |
我们并不选择表中最便宜的模型，而是选择达到您质量门槛的最低价模型。
示例评分卡：实际模型、得分和费用取决于您自己的运行结果。
先看价格，再谈迁移
沟通之前先估算节省空间，迁移生产任务之前先验证质量。
估算价格
将实际任务量输入计算器，查看各提供商成本。无需账号或银行卡。
验证质量（即将推出）
评估功能即将推出，可将您的样本同时在多个模型上运行。在此之前，请在排名页比较提供商价格和速度。
路由任务
选择模型及路由要求。每个批次交给合格提供商，在 Standard 等级的 24 小时内交付。自动质量评估即将推出。
需要接入您的系统？文档涵盖 API、文件格式、Webhook 以及从现有批处理系统迁移的方法。
阅读文档直连聊天补全
标准 OpenAI 请求体，即时回答。设置 "stream": true 以接收服务器推送事件形式的回复。
POST /v1/chat/completions
一个请求，排队为批处理
同一请求作为单项批次运行。立即获得 202 和任务标识，然后通过 GET /v1/chat/completions/{id} 或 Webhook 获取结果。
POST /v1/chat/completions with "batch": true
大批量任务
通过原生 API 或 JSONL 文件一次提交多个请求。现有 OpenAI Batch 客户端只需替换基础 URL 即可使用。
POST /v1/batches, or /v1/openai/v1 for OpenAI Batch clients
已发布等级为 Realtime（尽力响应）、Priority（4 小时）、Standard（24 小时）、Relaxed（48 小时）、Flex（72 小时）和 Economy（7 天）。API 会说明当前环境提供哪些等级。
当前费用与 SLA 可用性查看当前可用选项
浏览已发布的模型并比较提供商选项。打开模型以查看定价、能力和通道状态。