半导体供应链安全与国产化替代实战指南
2026/7/9 2:19:53
一、什么是 AI 网关
AI 网关是一个统一入口，位于用户/应用与多个大模型供应商之间，提供：
路由分发— 一个 OpenAI 兼容端点接入多家模型
统一管理— API Key 管理、访问控制、额度分配
可靠性— 自动降级、重试、负载均衡
成本控制— Token 压缩、免费 tier 聚合、计费审计
安全合规— PII 脱敏、注入检测、格式转换
二、市场全景图
第一梯队：纯网关（OpenAI 兼容）
| 项目 | 语言 | Star | 定位 | 活跃度 |
|---|---|---|---|---|
| One API | Go | ~25k+ | 国内最早的开源网关 | ⏸️ 停滞 |
| New API | Go | ~50k+ | One API 演进版，国内企业首选 | 🟢 活跃 |
| Portkey AI Gateway | TypeScript | ~7k+ | 国际主流，有云服务 | 🟢 活跃 |
| LiteLLM | Python | ~15k+ | 轻量级 Python 网关 | 🟢 活跃 |
| OmniRoute | TypeScript | ~13k+ | 个人省钱神器，免费 tier 聚合 | 🟢 活跃 |
第二梯队：带 AI 原生能力的基础设施
| 项目 | 定位 | 特色 |
|---|---|---|
| OpenClaw | 个人 AI 助手框架 | Agent + 多通道消息 + MCP 生态 |
| Dify | LLM 应用开发平台 | 可视化工作流 + RAG + Agent |
| FastGPT | 知识库问答平台 | 国内版，专注知识库 |
| LobeChat | 现代化 LLM 聊天前端 | 多模型聚合 + 插件生态 |
第三梯队：商业产品
| 产品 | 公司 | 定位 |
|---|---|---|
| Cloudflare AI Gateway | Cloudflare | 全球 CDN 边缘 AI 网关 |
| Google AI Gateway | Google Cloud | GCP 生态集成 |
| Amazon Bedrock | AWS | AWS 原生 AI 网关 |
| Azure AI Gateway | Microsoft | Azure 生态集成 |
三、企业级网关深度对比
3.1 New API（国内企业首选）
GitHub：https://github.com/Calcium-Ion/new-api
文档：https://docs.newapi.pro
语言：Go
衍生路线：One API → New API
| 维度 | 能力 |
|---|---|
| ✅ 多用户/分组 | 完善，支持角色权限 |
| ✅ 计费系统 | 内部充值、按量计费、缓存计费 |
| ✅ 兑换码/充值 | 批量生成、导出 |
| ✅ 格式互转 | OpenAI ⇄ Claude ⇄ Gemini双向转换（独家） |
| ✅ 国内供应商 | 覆盖最全（DeepSeek、豆包、通义千问、文心、智谱、360、混元…） |
| ✅ OIDC/SSO | 飞书、Discord、Telegram、LinuxDO |
| ✅ 多机部署 | 主从架构 + Redis |
| ✅ 多模型 | Midjourney、Suno、Dify、Rerank |
| ❌ Token 压缩 | 不支持 |
| ❌ Guardrails | 不支持 |
| ❌ 免费 tier 聚合 | 不支持 |
| ❌ MCP 管理 | 不支持 |
3.2 Portkey AI Gateway（国际标准）
GitHub：https://github.com/Portkey-AI/gateway
网站：https://portkey.ai
部署：
npx @portkey-ai/gateway
| 维度 | 能力 |
|---|---|
| ✅ 模型覆盖 | 1600+ 模型、45+ 供应商 |
| ✅ Guardrails | 50+ 预置审核规则，可自定义 |
| ✅ 负载均衡 | 加权分发、自动重试、降级 |
| ✅ 监控分析 | 实时请求量、延迟、成本、错误率 |
| ✅ MCP Gateway | 企业级 MCP 管理（认证、访问控制、审计） |
| ✅ 智能缓存 | 响应缓存，减少重复请求 |
| ✅ 合规认证 | SOC2、HIPAA、GDPR、CCPA |
| ✅ 云服务 | 免部署，开箱即用 |
| ❌ 国内供应商 | 覆盖少 |
| ❌ 格式互转 | 不支持 |
| ❌ Token 压缩 | 不支持 |
| ❌ 计费系统 | 仅企业版 |
3.3 LiteLLM（Python 生态首选）
GitHub：https://github.com/BerriAI/litellm
定位：100+ 供应商的 Python SDK + 代理服务器
| 维度 | 能力 |
|---|---|
| ✅ Python 原生 | LangChain、LlamaIndex 深度集成 |
| ✅ 快速部署 | pip install litellm即可使用 |
| ✅ 模型覆盖 | 100+ 供应商 |
| ❌ 企业功能 | 有限（无内置计费、审计） |
| ❌ 国内供应商 | 覆盖少 |
3.4 One API（老将，已停滞）
GitHub：https://github.com/songquanpeng/one-api
状态：不再活跃开发，推荐迁移至 New API
| 维度 | 能力 |
|---|---|
| ✅ 基础路由 | OpenAI 兼容格式 |
| ✅ 用户管理 | 基础分组 |
| ✅ 兑换码 | 支持 |
| ❌ 格式互转 | 不支持 |
| ❌ 活跃开发 | ⏸️ 停滞 |
3.5 OmniRoute（个人省钱神器）
GitHub：https://github.com/diegosouzapw/OmniRoute
网站：https://omniroute.online
语言：TypeScript
| 维度 | 能力 |
|---|---|
| ✅Token 压缩 | RTK + Caveman 叠加，15–95%，行业最强 |
| ✅免费 tier 聚合 | 每月约16 亿免费 token，11 个永久免费供应商 |
| ✅ 模型覆盖 | 237 个供应商（90+ 免费） |
| ✅ 路由策略 | 17 种（优先级/加权/成本优化/Fusion 等） |
| ✅ 4 层自动降级 | 订阅 → API → 廉价 → 免费，永不中断 |
| ✅ 配额公平共享 | 多人共用一个账号，公平分配 |
| ✅ 内置 MCP | 95 个工具 |
| ✅ A2A 协议 | Agent 互联 |
| ❌ 企业计费 | 不支持 |
| ❌ 格式互转 | 不支持 |
| ❌ 国内供应商 | 部分 |
| ❌ 多用户管理 | 不支持 |
四、完整功能对比表
| 特性 | New API | One API | Portkey | LiteLLM | OmniRoute |
|---|---|---|---|---|---|
| 多用户/分组 | ✅✅ | ✅ | ✅* | ⚠️ | ❌ |
| 计费/审计 | ✅✅ | ✅ | ✅* | ❌ | ❌ |
| 兑换码/充值 | ✅ | ✅ | ❌ | ❌ | ❌ |
| OIDC/SSO | ✅ 多平台 | ✅ 3种 | ✅* | ❌ | ❌ |
| OpenAI 兼容 | ✅ | ✅ | ✅ | ✅ | ✅ |
| 格式互转 | ✅ 独家 | ❌ | ❌ | ❌ | ❌ |
| Token 压缩 | ❌ | ❌ | ❌ | ❌ | ✅95% |
| 免费 tier 聚合 | ❌ | ❌ | ❌ | ❌ | ✅16亿/月 |
| Guardrails | ❌ | ❌ | ✅ 50+ | ❌ | ✅ 基础 |
| MCP 管理 | ❌ | ❌ | ✅ | ❌ | ✅ |
| 国内供应商 | ✅ 最全 | ✅ 全 | ⚠️ 少 | ⚠️ 少 | ⚠️ 部分 |
| 模型总数 | 100+ | 50+ | 1600+ | 100+ | 237 |
| 部署方式 | Docker | Docker | npm/Docker | pip | npm/Docker |
| 合规认证 | ❌ | ❌ | ✅ SOC2等 | ❌ | ❌ |
| 开发语言 | Go | Go | TypeScript | Python | TypeScript |
✅* = 企业版功能
五、选型建议
场景 A：国内企业内部用 ✅最推荐 New API
New API ← 用户管理 / 计费 / 格式互转 / 国内供应商最全适合：需要给团队成员分配额度、做内部分摊成本、对接国内各大模型
场景 B：国际团队 / 需要合规 ✅推荐 Portkey
Portkey ← Guardrails / 合规认证 / MCP 管理 / 云服务适合：面向海外、需要 SOC2/HIPAA 合规、喜欢云服务省心
场景 C：Python 技术栈 / 快速原型 ✅推荐 LiteLLM
LiteLLM + 你的 Python 后端适合：Python 团队，与 LangChain/LlamaIndex 配合使用
场景 D：个人开发者省钱 ✅推荐 OmniRoute
OmniRoute ← 免费 tier + token 压缩，最省钱适合：独立开发者用 Claude Code / Codex / Cursor
场景 E：全栈 All-in-One ✅组合方案
New API（企业网关管理）+ Dify（工作流/应用） + LobeChat 或 Cherry Studio（前端聚合）场景 F：基于 One API 的旧系统 ✅迁移至 New API
One API → New API（数据库完全兼容，零成本迁移）六、国内常见部署案例
以下服务均基于New API或One API改造部署：
| 站点 | 基于 |
|---|---|
| coremind.msxf.com（微盛金融） | New API |
| 各大企业内部分发平台 | New API / One API |
七、未来趋势
MCP 标准化— AI 网关将内嵌 MCP 管理能力，统一 Agent 工具调用
A2A Agent 互联— 网关不再只是路由请求，而是 Agent 之间的通信枢纽
边缘 AI 网关— Cloudflare 等 CDN 厂商正在将 AI 网关推向边缘节点
合规与安全深化— Guardrails / PII 脱敏 / 审计日志将成为标配
Token 优化成为核心竞争力— 压缩技术从锦上添花变成必选项
八、参考链接
| 项目 | 链接 |
|---|---|
| New API | https://github.com/Calcium-Ion/new-api |
| One API | https://github.com/songquanpeng/one-api |
| Portkey AI Gateway | https://github.com/Portkey-AI/gateway |
| LiteLLM | https://github.com/BerriAI/litellm |
| OmniRoute | https://github.com/diegosouzapw/OmniRoute |
| Dify | https://github.com/langgenius/dify |
| LobeChat | https://github.com/lobehub/lobe-chat |
| Cloudflare AI Gateway | https://developers.cloudflare.com/ai-gateway/ |