Vespa
Apache-2.0 许可的大规模 AI 检索平台，搜索+向量+张量+排序+ML 推理一体化分布式引擎，十亿级毫秒响应。
排序
Pinecone
全托管 Serverless 向量数据库 SaaS，对象存储架构支撑十亿级向量毫秒检索，99.95% SLA，稠密+稀疏+全文混合检索。
Weaviate
BSD-3-Clause 许可的开源 AI-native 向量数据库，Go 编写，BM25+向量原生混合检索，模块化向量化器，十亿级毫秒检索。
Qdrant
Apache-2.0 许可的 Rust 编写 AI 原生向量数据库，HNSW 遍历期过滤、量化降内存 64 倍、原生混合检索。
Milvus
Apache-2.0 许可的企业级云原生向量数据库，万亿级向量毫秒检索，K8s 原生存算分离，LF AI 毕业项目。
UltraRAG
Apache-2.0 许可的基于 MCP 架构的低代码 RAG 开发框架，YAML 编排复杂流程，可视化 IDE 白盒推理，清华 OpenBMB 出品。
Quivr
Apache-2.0 许可的开源"第二大脑"式 RAG 平台，Brain 抽象统一封装摄入-检索-生成，任意 LLM+任意向量库。
R2R
MIT 许可的生产级 RAG 引擎，RESTful API 统一封装多模态摄入、混合搜索、知识图谱与 Agentic Deep Research。
PaperQA2
面向科研文献的高精度 RAG 库，回答带页级引用，Agentic 工作流，Future House 出品，Apache-2.0。
OmniRoute
免费 MIT 自托管 AI 网关，单端点聚合 340 提供商/1200+ 模型，智能回退+Token 压缩，本地优先零遥测。
华为云盘古
华为云推出的企业级模型即服务平台（MaaS）
AIProxy
labring主导，以OpenAI/Claude/Gemini协议为入口的高性能AI网关，多租户隔离+智能路由，MIT许可。
Higress
阿里开源AI原生云原生网关，CNCF沙箱项目，基于Envoy，统一治理LLM API与MCP Server，Apache-2.0许可。
Kong AI Gateway
Kong Inc.主导，构建在Kong Gateway之上的AI网关，统一治理LLM/MCP/A2A流量，Apache-2.0许可。
Portkey Gateway
Portkey-AI主导，TypeScript轻量AI网关，200+模型统一API，集成Guardrails，MIT许可。
One API
JustSong主导，以OpenAI格式统一30+大模型提供商，单可执行文件+Docker一键部署，MIT许可。
LiteLLM
BerriAI主导，以OpenAI格式统一调用100+ LLM提供商，MIT许可，AI网关事实标准。
CTranslate2
OpenNMT团队开源，Transformer模型高效C++推理引擎，自定义运行时+faster-whisper底层。