三种方案速览

方案类型月成本（基础）适合规模维护负担
OneAPI / NewAPI自托管$5-20 服务器5-100 人中
LiteLLM Proxy自托管（Python）$5-20 服务器1-20 人低
Portkey / Helicone托管 SaaS$0 起，按用量任意零
Cloudflare AI Gateway托管（边缘）$0 起1-10 人零
OpenRouter托管（含 provider）5% 充值费任意零

维度逐项对比

1. 上手难度

  • OneAPI：Docker + 配 channel，半小时
  • LiteLLM Proxy：pip install litellm[proxy] && litellm --config config.yaml，10 分钟
  • Portkey / Helicone：注册 → 拿 key → 应用代码改 base_url，10 分钟
  • Cloudflare AI Gateway：Cloudflare Dashboard 创建 gateway → 拿 endpoint，5 分钟
  • OpenRouter：注册 → 充值 → 拿 key，10 分钟

托管方案普遍快。

2. 月成本结构

自托管 OneAPI

  • 服务器：Hetzner CPX21（¥60-80）/ Vultr $6 / Linode $5
  • 域名（HTTPS）：0/年 → $1/月
  • 数据库（SQLite 内置，零成本）
  • 你的时间：稳定后 5-10 分钟/月
  • 基础月固定：~$10
  • 变动：你绑的 channel（中转 / 官方 key）按 token 实际消费

适合月调用量从 0 到无限大——固定成本不变。

托管 Portkey / Helicone

  • 免费层：5k-10k 请求/月
  • 付费层：$49+/月（含 1M 请求）+ 超出按调用
  • 基础月固定：免费起步，规模后 $49+
  • 变动：除调用费外还要算他们的网关费

适合月调用量 < 50k。超过这个量自托管划得来。

Cloudflare AI Gateway

  • 免费层：100k 请求/月
  • 付费：每 100 万额外请求约 $0.5
  • 极低成本，但缺高级功能

适合个人 / 小团队过渡。

3. 生产化能力

能力OneAPILiteLLM ProxyPortkeyHeliconeCF AI Gateway
多 channel Router✅✅✅✅部分
子 key 管理✅✅✅✅部分
用量统计✅需外挂✅✅✅
Prompt log✅需外挂✅（可关）✅（可关）部分
Cache✅✅✅✅✅
限速✅✅✅✅✅
自定义代码✅✅（写插件）部分❌❌

OneAPI 与 LiteLLM Proxy 自托管的优势是「可改源码」，托管方案功能再多也是别人的产品形态。

4. 合规

  • 自托管：数据全在你服务器，没有第三方共享。涉合规审计场景必选
  • Portkey / Helicone：默认存 prompt 内容（可关 / 可设保留期），美国 SOC 2 合规但中国数据出境要走流程
  • Cloudflare：Cloudflare 母公司合规背书，但 prompt log 默认开启，需要手动关
  • OpenRouter：数据保留策略按 provider 不同，复杂

涉医疗 / 金融 / 教育敏感数据，自托管 + 自留日志是唯一稳妥路径。

5. 国内访问稳定性

  • 自托管 + 境内服务器：最稳，但出口调境外 LLM 不稳，要靠服务器自己的网络出海
  • 自托管 + 境外服务器：与境外 LLM 调用流畅，但国内用户访问网关不稳
  • 托管 SaaS（境外）：双重不稳定（应用 → 网关 → LLM）
  • OpenRouter：境外，国内裸连一般

谁该选哪个

选 OneAPI / NewAPI（自托管）

  • 团队 5+ 人需要分账
  • 月用量 $200+
  • 已有 Linux / Docker 运维能力
  • 想自定义 Router 逻辑

选 LiteLLM Proxy（自托管轻量）

  • Python 技术栈
  • 应用本身已经是 Python 服务，把 LiteLLM Proxy 当一个进程一起部
  • 小团队

选 Portkey / Helicone（托管）

  • 零运维偏好
  • 月用量 < 50k 请求
  • 看重 UI 与可观测性

选 Cloudflare AI Gateway（托管边缘）

  • 已经在 Cloudflare 生态（Workers / Pages / R2）
  • 量小但要免费起步
  • 不要求子 key 精细化管理

选 OpenRouter（一站式）

  • 想跑很多模型且能接受 Crypto / 卡充值
  • 一个 key 调 200+ 模型

阶段化推荐

PoC（月 < $10）：直接调 API，零网关
↓
早期产品（月 $10-100）：Cloudflare AI Gateway 或 Portkey 免费层
↓
成长期（月 $100-1000）：自托管 OneAPI / LiteLLM Proxy
↓
规模化（月 $1000+）：自托管 OneAPI + 多 region + 监控告警

局限

  • 自托管要服务器运维基础
  • 托管 SaaS 国内访问视厂商节点而定
  • 任何 Gateway 都不解决 LLM 本身的成本（只优化路由 + 管控）

网关的访问稳定性

无论自托管还是托管，应用与网关之间的连接稳定都重要。可以先从一条多模型统一计费的 API 网关起步，等团队规模和合规需求确定后，再切到自托管或托管 SaaS。

相关阅读