三者速览
| 维度 | litellm | OpenRouter | OneAPI / NewAPI |
|---|---|---|---|
| 类型 | Python 库 | 托管服务 | 自托管软件 |
| 部署 | pip install | 在线注册 | Docker + 服务器 |
| 持 key | 你的 key | OpenRouter 的 key | 你的 key（任何家） |
| 价格 | 免费 | 0% 加价 + 5% 充值费 | 软件免费 + 服务器 $5-20/月 |
| 协议 | 全（100+ provider） | OpenAI + 自家 | OpenAI + Anthropic |
| 子 key 管理 | 无 | Provisioning Keys | ✅ 完整 |
| 用量统计 | 需 Langfuse 等外挂 | ✅ Dashboard | ✅ 控制台 |
| 适合规模 | 1-10 人团队 | 任意规模 | 5+ 人团队 |
维度逐项对比
1. 上手难度
- litellm：
pip install litellm，改一行代码：
from litellm import completion
resp = completion(
model="anthropic/claude-3-5-sonnet-20241022",
messages=[{"role": "user", "content": "Hi"}],
)5 分钟搞定。
- OpenRouter：注册 → 充值（Crypto 或卡）→ 拿 key → 改 base_url：
client = OpenAI(
base_url="https://openrouter.ai/api/v1",
api_key="sk-or-...",
)10-20 分钟。
- OneAPI：Docker 部署 + 控制台配 channel + 发 user key：
docker run -d -p 3000:3000 -v ./data:/data justsong/one-api部署 10 分钟 + 配置 20 分钟。
2. 模型覆盖
- litellm：100+ provider（含开源云服务 Replicate / Together / Ollama / Bedrock / Vertex），需要你自己有各家 key
- OpenRouter：200+ 模型，含开源 + 闭源，免你自己绑各家。常见最全
- OneAPI：取决于你绑的 channel。理论可以把任意 OpenAI 兼容 endpoint 当 channel，包括中转方 + 官方
3. 生产化能力
| 能力 | litellm | OpenRouter | OneAPI |
|---|---|---|---|
| Router / Fallback | ✅ | ✅（auto fallback） | ✅（权重） |
| Retry | ✅ | ✅ | ✅ |
| 限速 | 客户端 | 服务端 | 服务端 |
| 子 key 管理 | ❌ | 部分 | ✅ |
| 用量统计 | 自己埋点 | ✅ | ✅ |
| 审计日志 | 自己写 | 部分 | ✅ |
| 团队多人 | 不适合 | 适合 | 最适合 |
4. 成本
- litellm：免费，但调用费按你绑的 provider 各自定价
- OpenRouter：5% 充值费（实际加价 5%），调用 0% 加价
- OneAPI：软件免费 + 服务器（Hetzner CPX21 ¥60-80/月或 AWS t3.small $15/月）+ 你绑的 channel 各自定价
最便宜：OneAPI + 自己的官方 key（前提：有海外卡 + 月用量大到摊薄服务器成本）
5. 合规
- litellm：你直接调各家 API，合规由你与各家 ToS 关系决定
- OpenRouter：他们与各家 provider 有商业合作，合规由 OpenRouter 担保（部分 provider 数据保留策略不同）
- OneAPI：你绑的 channel 是中转方就承担中转方风险，是官方 key 就官方合规
谁该选哪个
选 litellm
- 个人开发者 / 小团队（1-5 人）
- 用代码做精细化路由 / 实验
- 已经有目标 provider 的 key
- 不需要 UI 用量统计（或愿意外挂 Langfuse / Helicone）
选 OpenRouter
- 想跑很多开源 / 小众模型
- 不想自己绑各家 key
- 接受 Crypto / 信用卡充值
- 能解决国内访问问题
选 OneAPI / NewAPI
- 团队（5+ 人）需要分发子 key + 用量管控
- 想绑多家中转 + 官方 key 做主备
- 月用量 $500+ 摊得开服务器成本
- 合规审计需求
组合用
最完整链路：
你的应用 → litellm（应用层 SDK） → OneAPI（infra 层网关）
↓
├─ OpenRouter（200+ 模型）
├─ AnyRouter（国内支付）
├─ Anthropic 官方 key
└─ OpenAI 官方 key应用代码层零关心 provider 切换（litellm 抽象），infra 层灵活换中转（OneAPI 控制台调）。
局限
- litellm 不解决「免外卡」问题
- OpenRouter 不便于做团队分账
- OneAPI 自托管要求一定运维能力（Docker / Linux / 数据库）
LLM 多模型网关：后台登录怎么留稳
任何方案都需要稳定的网络兜底——OneAPI 部署在境外服务器、OpenRouter 国内访问、litellm 调境外 endpoint 都依赖网络。配一条多模型统一计费的 API 网关作为单家中转挂掉时的最后兜底。