BYOK:在同一个 LLM API 背后使用你自己的厂商 Key
采用多模型 API 的团队,通常会碰到同一个采购问题:「我们和模型厂商已经签了合同、谈好了价格,为什么还要通过中间商再买一遍推理?」
自带 Key(BYOK)回答的正是这个问题。厂商账号还是你自己的,前面那一个 API 只负责让接入保持简单。
怎么运作
在 BoostRail 上使用 BYOK 时,组织把自己的厂商 API Key 存进平台。请求的模型有对应的 Key 时,BoostRail 用你的 Key 请求厂商的官方端点。这意味着:
- 推理费用记在你自己的厂商账号上,按你的合同价,不扣平台余额。
- 请求数据留在你和厂商已有的协议范围内;采购或合规要求与厂商直接签约时,这一点很重要。
- 你的应用不接触存进来的 Key:应用继续只用一个 BoostRail API Key,厂商 Key 留在平台这边。
BoostRail 仍然负责的部分:一个 OpenAI 兼容端点、应用只用一个 Key、统一的目录,以及平台兜底。你自己的 Key 出错、厂商额度用完或被限流时,请求可以继续走同一模型的平台线路,而不是直接失败;这需要账户有余额。数据边界要求严格时,可以按厂商关闭平台线路,这时请求会直接失败,不会回落。
费用
免费套餐每月含 1,000,000 次 BYOK 请求。付费套餐按固定月费提高每月配额,也增加可以接入的厂商数。推理本身由你的厂商计费,所以 BYOK 按请求次数计,而不是按用量金额收一个百分比。月度配额用完后,请求按公开的平台价格改走平台线路,直到每月 1 日(UTC)配额重置;只能用自带 Key 的模型在此之前暂停。
不会被锁定,这是设计决定的
担心被锁定,是对网关最常见的顾虑,BYOK 正好反过来:厂商 Key 是你的,应用对接的是 OpenAI 兼容端点。要离开,把 base_url 改回厂商的官方端点就行。没有私有 SDK,也没有自定义协议。
BYOK 什么时候覆盖一款模型,什么时候不覆盖
BYOK 需要两个条件:厂商在你所用套餐的支持名单里,并且这款模型能从该厂商的官方端点调用。没有公开官方 API 的厂商,其模型只走平台线路。当前的厂商名单和各套餐配额见 BYOK 页。
几种常见用法
- 有合同价的团队:推理按谈好的厂商价格走,BoostRail 提供一个 API 和用量记录,溢出的流量由平台兜底。
- 受合规约束的团队:敏感模型的请求固定走自己的厂商协议,并对这家厂商关闭平台线路;其他模型走平台线路。
- 分摊成本的团队:有合同的旗舰模型用自己的 Key,长尾模型用平台余额;厂商账单不变,另外多一份 BoostRail 账单。
BYOK 在 app.boostrail.com 的控制台里设置;套餐和支持的厂商名单见 BYOK 页。