AI 大模型基建

可信企业Agentic RAG平台，治理、引用、幻觉控制。

vLLM 生产级LLM推理与服务引擎，PagedAttention高吞吐，Apache 2.0。

上海AI Lab开源，TurboMind引擎驱动，国产LLM/VLM高性能部署工具箱。

Kong Inc.主导，构建在Kong Gateway之上的AI网关，统一治理LLM/MCP/A2A流量，Apache-2.0许可。

微软DeepSpeed团队开源，Blocked KV Cache+Dynamic SplitFuse高吞吐推理库。

OpenAI 自 GPT-2 以来首次开放权重，Apache-2.0 许可。

labring主导，以OpenAI/Claude/Gemini协议为入口的高性能AI网关，多租户隔离+智能路由，MIT许可。

阿里开源AI原生云原生网关，CNCF沙箱项目，基于Envoy，统一治理LLM API与MCP Server，Apache-2.0许可。

AI Singapore 主导的东南亚多语种开放大模型家族，基于 Apertus/Gemma/Qwen/Llama 四大开源基座定制。

Onyx Cloud 开源企业搜索AI平台，40+连接器，高级RAG精准问答。

桌面级本地LLM聊天客户端，一键安装100%离线，MIT许可。

PygmalionAI主导的vLLM分支推理引擎，量化格式覆盖最广，AGPL-3.0许可。

NVIDIA官方开源，编译优化大模型推理，NVIDIA GPU上极限吞吐引擎。

微软 Phi 开放权重大模型家族，MIT 许可，专注边缘端高效推理。

Google DeepMind 开放权重大模型家族，Apache-2.0，端侧多模态。

企业知识助手，RAG驱动，引用溯源，支持私部署。

C/C++高性能LLM推理引擎，GGUF发明者，MIT许可，15+后端。

托管式多模型 API 聚合：一把密钥覆盖 GPT、Claude、Nano Banana、GPT Image 与 Seedance，美元余额按请求计费，失败不扣费。