熊猫老爹

Higress

阿里开源AI原生云原生网关，CNCF沙箱项目，基于Envoy，统一治理LLM API与MCP Server，Apache-2.0许可。

Kong AI Gateway

Kong Inc.主导，构建在Kong Gateway之上的AI网关，统一治理LLM/MCP/A2A流量，Apache-2.0许可。

Portkey Gateway

Portkey-AI主导，TypeScript轻量AI网关，200+模型统一API，集成Guardrails，MIT许可。

One API

JustSong主导，以OpenAI格式统一30+大模型提供商，单可执行文件+Docker一键部署，MIT许可。

LiteLLM

BerriAI主导，以OpenAI格式统一调用100+ LLM提供商，MIT许可，AI网关事实标准。

CTranslate2

OpenNMT团队开源，Transformer模型高效C++推理引擎，自定义运行时+faster-whisper底层。

ExLlamaV3

turboderp主导，消费级NVIDIA GPU本地LLM推理库，EXL3量化格式发源地，MIT许可。

MLX

Apple机器学习研究团队出品，Apple Silicon统一内存原生的数组框架与LLM推理引擎。

Sonar

PygmalionAI主导的vLLM分支推理引擎，量化格式覆盖最广，AGPL-3.0许可。

DeepSpeed-MII

微软DeepSpeed团队开源，Blocked KV Cache+Dynamic SplitFuse高吞吐推理库。

TensorRT-LLM

NVIDIA官方开源，编译优化大模型推理，NVIDIA GPU上极限吞吐引擎。

LMDeploy

上海AI Lab开源，TurboMind引擎驱动，国产LLM/VLM高性能部署工具箱。