OmniRoute翻译站点

OmniRoute 是 Diego Souza 主导的开源本地优先 AI 网关与 LLM 智能路由器，MIT 许可。把 340 个 AI 提供商（90+ 免费档）、1200+ 模型统一在单个 OpenAI 兼容的 /v1 端点之后，由网关完成提供商选择、配额感知故障转移、Token 压缩。开箱即用编码 Agent 兼容（Claude Code/Codex/Cursor/Cline/Copilot 等 33+ 工具），原生支持 MCP Server（104 工具）与 A2A 协议，本地优先运行、默认零云遥测、凭据 AES-256-GCM 加密存储 。

项目概述

OmniRoute 由软件工程师 Diego Souza 创建，最初是 9Router（rtk-ai/rtk）的 TypeScript fork，后独立演进为功能更完整的 AI 网关 。项目口号”Never stop coding”精准概括其核心承诺：当某个模型触发限流、免费额度耗尽或提供商故障时，网关自动滑动到链路中的下一个可用提供商，让编码 Agent 永不中断​ 。

核心定位哲学：

OmniRoute 官方自我定位是”open-source, local-first AI gateway and intelligent LLM router” ——它是一个本地优先的智能路由代理层，为需要”多提供商聚合+零成本最大化+Agent 原生”的 AI 应用提供中间件。与 LiteLLM（最广提供商覆盖的企业级网关）、One API（中文社区中转）、Portkey（轻量可靠性）、Kong/Higress（云原生底座）、AIProxy（多租户平台）形成差异化：OmniRoute 的核心竞争力在”340 提供商聚合（90+ 免费）+ 19 种路由策略 + 12 引擎 Token 压缩（宣称 15-95%）+ MCP Server(104 工具)与 A2A 协议双原生 + 本地优先零遥测 + MIT 许可“——它是 API 中间件层中免费提供商聚合与 Token 压缩能力最强的自托管网关。

它做什么 / 不做什么（关键归类）：

• ✅ 做：接收 OpenAI 兼容请求 → 12 引擎压缩 Prompt → 19 种策略智能路由 → 调用提供商 API → 4 层回退/3 层熔断 → 返回响应 → 在此之上提供配额池化、多账户管理、MCP/A2A 暴露、本地仪表盘
• ❌ 不做：自己不加载模型权重、不管理 KV Cache、不执行推理计算。它严格属于”大模型API中间件”子类，不是推理引擎；后端接的是各家云端 API 或本地推理引擎
• 本质是本地优先 AI 网关：通过本地 SQLite（WAL 模式）+ AES-256-GCM 加密凭据库，把 340 个提供商的访问收敛到 localhost:20128/v1 单个端点

架构与技术栈​ ：

• 运行时：Node.js 22.x/24.x LTS
• 语言：TypeScript（核心 100% TypeScript，zero any）
• 本地存储：SQLite（better-sqlite3，WAL 模式），AES-256-GCM 加密凭据
• 部署形态：CLI/服务端（Node.js）、Electron 桌面应用、Termux（Android）、浏览器 PWA
• 核心端点：http://localhost:20128/v1（网关、仪表盘、API 同源同端口）
• 社区规模：GitHub 33,000+ Stars（不同镜像源统计在 29.2K-51.2K 之间波动），由 450+ 贡献者协作开发 ，是 2026 年 7 月 Star 增速最强的 AI 基础设施项目之一（月增 27K+）
• TLS 隐身路由：可选 JA3/JA4 TLS 指纹伪装（通过 wreq-js），用于穿透限制性网络访问提供商

协议转换能力：

OmniRoute 对外暴露 OpenAI 兼容 REST API，同时原生支持 MCP 协议（stdio/HTTP/SSE 三种传输、104 工具、31 scopes）和 A2A（Agent2Agent v0.3，JSON-RPC 2.0 + SSE，6 个 skills）。这意味着不仅传统 OpenAI 客户端可以接入，自主 Agent 也可以通过 MCP/A2A 协议查询提供商状态、配额、成本、路由决策 。

许可策略：MIT 许可证 ，允许商用、修改、自托管、再分发、出售，无任何限制，是”最干净许可”阵营中最宽松的。

💡 关于数字口径的说明：OmniRoute 官方仓库当前摘要写”340 providers (90+ free), 1200+ models” ，而第三方综述与早期资料多引用”290+ providers, 500+ models” 。两者都是项目自述口径（提供商目录定期审计刷新，约每两周一次），本条目采用最新的官方仓库摘要数据，同时标注 290+/500+ 是社区常见引用值。免费提供商追踪的月度免费 Token 约 15.3 亿（新用户首月含临时注册额度可达 21.5 亿）。

核心能力

• 统一 OpenAI 兼容网关：340 提供商、1200+ 模型聚合到单个标准化本地端点
• 19 种路由策略​ ：优先级路由、fill-first、加权路由、轮询、P2C 幂次随机、least-used、随机、strict-random、成本优化、headroom 感知、reset-window、reset-aware、context-relay、context-optimized、cache-optimized、LKGP（Last-Known-Good Path）、auto（14 因子实时评分）、fusion（模型panel+裁判合成）、pipeline（链式步骤）
• Auto 组合模式​ ：auto（均衡默认，LKGP 粘滞上次成功提供商）、auto/coding（代码质量优先）、auto/fast（最低延迟）、auto/cheap（每 Token 最低成本）、auto/offline（最大配额余量）、auto/smart（质量优先+10% 探索）
• 4 层回退链路​ ：订阅计划（Claude Code/Codex/Copilot）→ API Key（DeepSeek/Groq/xAI）→ 廉价模型（GLM $0.50/MiniMax $0.20）→ 免费档（Kiro/Qoder/Pollinations 等）
• 3 层韧性熔断​ ：每提供商熔断器（408/5xx 触发）、每凭据冷却（遵守 429 Retry-After）、单模型锁（避免一个坏模型拖垮整个连接）
• 12 引擎 Token 压缩​ ：RTK（工具结果过滤）、Caveman（散文压缩，含 DE/FR/JA/文言中文包）、LLMLingua-2（语义剪枝）、GCF v3.2、OmniGlyph、代码/URL/JSON 结构保留规则；项目宣称节省 15-95% Token 用量（工具密集型会话平均约 89%）​
• 免费额度聚合​ ：90+ 免费提供商（40+ 永久免费），月度追踪约 15.3 亿免费 Token，多账户配额池化（Quota-Share 公平分发）
• 配额感知与成本遥测​ ：X-OmniRoute-* 成本/用量 Header、cache-HIT 节省 Header、每 Key USD 支出配额、实时仪表盘追踪用量/配额/节省/Provider p95 延迟
• MCP Server 原生​ ：104 工具、3 种传输（stdio/HTTP/SSE）、31 scopes
• A2A 协议原生​ ：Agent2Agent v0.3，JSON-RPC 2.0 + SSE，6 个 skills
• 编码 Agent 兼容​ ：Claude Code、Codex、Cursor、Cline、Continue、GitHub Copilot、OpenCode 等 33+ 工具一行命令配置（omniroute setup-claude / setup-codex / setup-cursor 等）
• 多模态与工具编排​ ：文本补全、Embeddings、图像生成、音频合成、联网搜索工具集成
• JA3/JA4 TLS 指纹伪装​ ：可选 wreq-js 实现，穿透限制性网络
• 透明 MITM 解密（TPROXY）​ ：捕获忽略代理环境变量的 CLI 流量，每 SNI CA + 信任库安装器
• 本地优先零遥测​ ：网关与 AES-256-GCM 加密凭据库完全运行在用户自有机器或自托管服务器上
• 43 种语言国际化​ ：i18n 支持 43 个 locale
• 多平台形态​ ：Web 仪表盘、Electron 桌面端、Termux（Android）、PWA 渐进式 Web 应用
• 远程模式​ ：可部署到 VPS 并用 scoped tokens 驱动，支持 antigravity OAuth helper

优势亮点

• MIT 最干净许可：商用、修改、自托管、再分发均无限制，与 LiteLLM/One API/Portkey/Higress/AIProxy 并列最干净许可阵营
• 提供商聚合规模最大：340 提供商、1200+ 模型（官方最新摘要 ）——同层网关中目录最广
• 免费提供商最多：90+ 免费档（40+ 永久免费），月度 15.3 亿免费 Token 追踪 ，是 LiteLLM/OpenRouter/Portkey 的 10-90 倍
• 19 种路由策略最精细：从简单优先级到 LKGP、Auto 组合、Fusion、Pipeline 一应俱全
• Token 压缩原生 12 引擎：RTK+Caveman+LLMLingua-2 等组合，项目宣称 15-95%（平均约 89%） ，同层其他网关无此深度（或仅基础 20-40%）
• MCP + A2A 双原生：104 工具 MCP Server + 6 skills A2A 协议 ，定位为”人类开发者与自主编码 Agent 的共同基础设施”
• 本地优先零遥测：网关与凭据库完全本地运行，AES-256-GCM 加密 ，对隐私敏感团队具备独特优势
• 4 层回退 + 3 层熔断：单个提供商故障/限流/配额耗尽不影响编码连续性
• 编码 Agent 一站式接入：33+ 工具原生兼容，setup-* 一键配置
• TypeScript 技术栈：100% TypeScript 核心 ，与 Portkey Gateway 同生态，前端/Node.js 团队易于二次开发
• 社区增长迅猛：2026 年 7 月 Star 增速最强 AI 基础设施项目之一，450+ 贡献者
• 零 Key 起步：auto 模型名预绑定无 Key 免费后端，装完即可应答

局限

• 自己不执行推理：OmniRoute 是协议转换与流量治理层，后端必须接各家 API 或本地推理引擎
• 提供商数量为项目自述口径：340 提供商/1200+ 模型、90+ 免费提供商、15.3 亿月度免费 Token 均为项目自述并定期审计刷新 ，未完全经第三方独立验证；实际可用免费额度受提供商政策变动影响大
• Token 压缩率为项目宣称：15-95%（平均约 89%）为项目自评数据 ，在极密集 Prompt 中压缩可能省略少量上下文细节，实际压缩比因场景而异
• 需自托管：需要通过 npm CLI、Docker 或 Desktop 应用进行自托管和初始设置，本地服务器必须保持运行以供 IDE 扩展路由请求
• 高级路由规则有学习曲线：19 种路由策略 + 多提供商配置对初学者有一定门槛
• 性能依赖上游：实际响应速度受底层第三方 LLM 提供商在线率与响应速度影响
• 企业级治理特性弱于 Kong/AIProxy：相比 Kong 的语义缓存深度调优、AIProxy 的组织级多租户隔离与计费，OmniRoute 更聚焦个人/小团队的编码 Agent 场景
• 国产模型深度适配不及 Higress/One API：虽覆盖 Kimi/DeepSeek/GLM/通义/智谱/MiniMax，但国产模型企业级特性支持不如国产原生网关
• 社区文档在成长中：主要维护在 GitHub 与 /docs 目录，深度最佳实践文档不如 LiteLLM 完善
• 同名产品干扰：市面上有 Freshworks 的”Omni Route”客服工单路由功能 ，以及 aiproxy.com 等同名/近名产品，需注意区分

适用人群

• AI 编码开发者：使用 Claude Code/Codex/Cursor/Cline/Copilot/Continue/OpenCode 等工具，希望一个端点调所有模型
• 免费额度最大化用户：需要聚合 90+ 免费提供商、月度 15.3 亿免费 Token 的零成本开发者
• 多提供商路由需求：需要 19 种路由策略在成本/速度/质量/健康度间精细权衡
• Agent 应用开发者：需要 MCP Server + A2A 协议原生支持的自主 Agent 基础设施
• 隐私敏感团队/个人：本地优先、零遥测，AES-256-GCM 加密凭据
• Token 成本敏感：需要 12 引擎压缩降低每次调用开销，尤其是工具密集型编码会话
• TypeScript 技术栈：与 Portkey Gateway 同生态，前端/Node.js 团队易于二次开发
• 远程/混合办公团队：通过 VPS 部署 + scoped tokens 集中管理和监控 LLM 用量

安装与部署

1. 环境要求

• Node.js ≥ 22.22.2（22.x 或 24.x LTS，不含 27）
• Docker（可选）
• 本地端口 20128 可用

2. npm 全局安装（最快）

npm install -g omniroute
omniroute launch
# 仪表盘: http://localhost:20128/dashboard
# API: http://localhost:20128/v1

3. Docker 部署

docker run -d --name omniroute \
  -p 127.0.0.1:20128:20128 \
  diegosouzapw/omniroute

4. 零 Key 调用（使用 auto 模型）

# 装完即可用，无需任何 API Key
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello!"}]}'

auto 会从内置的免费 provider 里挑一个健康的来应答；添加付费 Key 后自动并入 auto 池 。

5. 为编码工具一键配置

omniroute setup-claude      # 配置 Claude Code
omniroute setup-codex       # 配置 Codex CLI
omniroute setup-cursor      # 配置 Cursor
omniroute setup-aider       # 配置 Aider
# 配置完成后，所有工具只需把 API base URL 改为 http://localhost:20128/v1

6. Python 客户端调用

from openai import OpenAI

client = OpenAI(
    api_key="anything",
    base_url="http://localhost:20128/v1"
)

# 使用 auto 模型名，由 OmniRoute 智能路由
response = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Explain quantum computing."}]
)
print(response.choices[0].message.content)

# 或使用 auto 变体
response = client.chat.completions.create(
    model="auto/coding",  # 代码质量优先
    messages=[{"role": "user", "content": "Write a quicksort in Rust."}]
)

7. 部署前必检清单

• 确认仓库位于 github.com/diegosouzapw/OmniRoute（官方）
• 许可：MIT ，商用自托管无限制
• 严格属于”大模型API中间件”子类，自己不执行推理计算，后端需接各家 API 或本地推理引擎
• 提供商规模：官方最新摘要 340 提供商（90+ 免费）、1200+ 模型​ ；社区常见引用 290+ 提供商、500+ 模型——均为项目自述口径
• 19 种路由策略、4 层回退、3 层熔断
• 12 引擎 Token 压缩，项目宣称 15-95%（平均约 89%）
• MCP Server（104 工具）+ A2A 协议双原生
• 本地优先、零遥测，AES-256-GCM 加密凭据库
• TypeScript 技术栈（核心 100% TypeScript）
• 编码 Agent 兼容：Claude Code/Codex/Cursor/Cline/Copilot/Continue/OpenCode 等 33+ 工具
• 最新版本 v3.8.49 ，Node.js ≥ 22.22.2
• 社区规模：GitHub 33,000+ Stars（450+ 贡献者）
• ⚠️ 与 Freshworks “Omni Route” 客服功能、aiproxy.com 等同名/近名产品不是同一个项目，需注意区分