AI 大模型基建

免费 MIT 自托管 AI 网关，单端点聚合 340 提供商/1200+ 模型，智能回退+Token 压缩，本地优先零遥测。

C/C++高性能LLM推理引擎，GGUF发明者，MIT许可，15+后端。

一个 API Key 调用 400+ 模型 / 60+ 提供商，透传上游价格不加价，海外开发者的"模型超市"，国内需VPN（国区受限）。

企业级开源 AI Agent 构建平台，以知识库 RAG 为底座，通过可视化工作流与 Flow 编排零代码搭建专属 AI 应用，支持 Docker 私有化部署，数据 100% 自主可控。

Onyx Cloud 开源企业搜索AI平台，40+连接器，高级RAG精准问答。

桌面级本地LLM聊天客户端，一键安装100%离线，MIT许可。

开源桌面ChatGPT替代客户端，100%离线运行，Apache 2.0。

阿里开源AI原生云原生网关，CNCF沙箱项目，基于Envoy，统一治理LLM API与MCP Server，Apache-2.0许可。

阿里巴巴通义万相开放权重视频生成家族，Apache-2.0 可商用。

OpenAI 自 GPT-2 以来首次开放权重，Apache-2.0 许可。

Meta 开放权重大模型家族，MoE 架构+原生多模态。

隐私优先离线文档RAG，数据100%不出本机。

火山引擎向量数据库，高性能RAG托管服务。

Portkey-AI主导，TypeScript轻量AI网关，200+模型统一API，集成Guardrails，MIT许可。

PygmalionAI主导的vLLM分支推理引擎，量化格式覆盖最广，AGPL-3.0许可。

上海AI Lab开源，TurboMind引擎驱动，国产LLM/VLM高性能部署工具箱。

手写Triton内核加速LLM微调，单卡2倍速、省70%显存的开源库。

HPC-AI Tech 的 Apache-2.0 开放权重视频生成家族，权重+训练代码+评估协议全开源。