OmniRoute
免费 MIT 自托管 AI 网关，单端点聚合 340 提供商/1200+ 模型，智能回退+Token 压缩，本地优先零遥测。
排序
华为云盘古
华为云推出的企业级模型即服务平台（MaaS）
AIProxy
labring主导，以OpenAI/Claude/Gemini协议为入口的高性能AI网关，多租户隔离+智能路由，MIT许可。
硅基流动
国内开源模型 API 覆盖最全的一站式 MaaS 平台，DeepSeek-V4-Flash 输入 ¥1/输出 ¥2 每百万 token，9B 及以下模型永久免费，新用户送 14 元额度（约 2000 万 Tokens），国内直连。
OpenRouter
一个 API Key 调用 400+ 模型 / 60+ 提供商，透传上游价格不加价，海外开发者的"模型超市"，国内需VPN（国区受限）。
n1n
企业级 LLM API 聚合网关，一个 Key 调 GPT-5/Claude 4.5/Gemini 3 Pro 等 500+ 模型，CN2 全球直连无需 VPN，98ms 延迟，1 元=1 美元充值。
Higress
阿里开源AI原生云原生网关，CNCF沙箱项目，基于Envoy，统一治理LLM API与MCP Server，Apache-2.0许可。
Kong AI Gateway
Kong Inc.主导，构建在Kong Gateway之上的AI网关，统一治理LLM/MCP/A2A流量，Apache-2.0许可。
Portkey Gateway
Portkey-AI主导，TypeScript轻量AI网关，200+模型统一API，集成Guardrails，MIT许可。
One API
JustSong主导，以OpenAI格式统一30+大模型提供商，单可执行文件+Docker一键部署，MIT许可。
LiteLLM
BerriAI主导，以OpenAI格式统一调用100+ LLM提供商，MIT许可，AI网关事实标准。
CTranslate2
OpenNMT团队开源，Transformer模型高效C++推理引擎，自定义运行时+faster-whisper底层。
ExLlamaV3
turboderp主导，消费级NVIDIA GPU本地LLM推理库，EXL3量化格式发源地，MIT许可。
MLX
Apple机器学习研究团队出品，Apple Silicon统一内存原生的数组框架与LLM推理引擎。
Sonar
PygmalionAI主导的vLLM分支推理引擎，量化格式覆盖最广，AGPL-3.0许可。
DeepSpeed-MII
微软DeepSpeed团队开源，Blocked KV Cache+Dynamic SplitFuse高吞吐推理库。
Ollama
本地LLM推理服务框架，一键拉取模型，MIT许可，全平台。
TensorRT-LLM
NVIDIA官方开源，编译优化大模型推理，NVIDIA GPU上极限吞吐引擎。