一分钟定义
LLM Gateway
你的应用 → Gateway → 多个 channel：OpenAI / Anthropic / Gemini / Bedrock / ...Gateway 解决「我应用怎么调多家 LLM 还能统一管」的问题。重点是 infra 工具。
API Relay（中转站）
最终用户 → Relay 服务（中转方运营） → OpenAI / Anthropic 官方Relay 解决「我没有海外卡 / 不想注册官方账号但想用 LLM」的问题。重点是商业服务。
关键差异表
| 维度 | LLM Gateway | API Relay |
|---|---|---|
| 本质 | 软件 / 服务 | 商业服务 |
| 谁部署 | 应用开发者自己 | Relay 公司 |
| 谁持 LLM 官方 key | 你（应用开发者） | Relay 方 |
| 谁付钱给 OpenAI / Anthropic | 你直接付 | Relay 方代付 |
| 你看到的支付对象 | OpenAI / Anthropic | Relay 方（支付宝 / 微信） |
| 加价 | 0%（你直接走官方价） | 5-30% |
| 责任主体 | 你自己 | Relay 方 |
| 合规风险 | 干净 | 灰色（转售 ToS 争议） |
工作原理
Gateway 内部
请求 → 协议识别 → 选 channel → 调用上游 → 统计计费 → 返回响应
↓
按权重 / 模型 / 用户路由Gateway 是「编排器」。
Relay 内部
你 → Relay endpoint → Relay 内部 Gateway（路由 + 聚合） → 各家官方 API
↓
Relay 方的官方 key + 余额管理Relay 本质 = Gateway + 商业账户 + 国内支付。
常见误解
误解 1：「OneAPI 就是 Relay」
不是。OneAPI 是软件你自己装。你装完不会自动有钱、不会有 OpenAI 账号——还要你自己绑 channel（中转 key 或官方 key）。Relay 是别人帮你把这套都搞定的服务。
误解 2：「Relay 就是 Gateway」
部分对。Relay 后台肯定有 Gateway-like 的软件做路由。但你作为用户消费的是 Relay 的「商业服务」（含账号 + 余额 + 客服 + 计费），不是「软件」。
误解 3：「我用 OpenRouter 就不需要 OneAPI」
不一定。如果你做 AI SaaS 团队 5+ 人需要内部分账，OpenRouter 的 Provisioning Keys 不如 OneAPI 灵活。OneAPI 后端可以接 OpenRouter 作为一个 channel——OneAPI 做内部分发 + 用量统计，OpenRouter 做 200+ 模型聚合。
典型协作模式
模式 1：纯 Relay
应用 → AnyRouter适合个人 PoC / 月用量 < $200。
模式 2：纯 Gateway
应用 → OneAPI（你部署） → 你的 Anthropic / OpenAI 官方 key适合有海外卡 + 想 0 加价 + 月用量 > $1000。
模式 3：Gateway + Relay 组合
应用 → OneAPI → 多 channel：
├─ 你的官方 key（主路）
├─ Relay A 的 key（备路 1）
└─ Relay B 的 key（备路 2）适合生产环境，需要多层 fallback。
模式 4：终端用户视角
最终用户对你的应用来说看不到 Gateway 或 Relay 的区别——他们只看到「你的应用提供 AI 能力」。Gateway / Relay 是你的后端选择，不影响产品形态。
实际应用场景
选 Gateway
- 团队开发 AI SaaS，需要内部用量管控
- 已有官方 LLM key，想统一管理
- 月用量大到摊薄服务器成本
选 Relay
- 个人开发者 PoC
- 不想自己绑海外卡
- 多模型快速实验
同时选两者
- 生产 AI SaaS：Gateway 做内部聚合 + Relay 做某些 channel 作为 fallback
- 团队 + 商业用：Gateway 管分账，Relay 提供 backup capacity
相关术语
- OneAPI / NewAPI 是什么（boluoblog 站）
- Token 中转站是什么（boluoblog 站）
- 自托管 vs 托管 API 网关
- litellm vs OpenRouter vs OneAPI