TextGen
多后端本地LLM Web UI平台，支持LoRA训练，AGPL-3.0。
排序
Jan
开源桌面ChatGPT替代客户端，100%离线运行，Apache 2.0。
AIProxy
labring主导，以OpenAI/Claude/Gemini协议为入口的高性能AI网关，多租户隔离+智能路由，MIT许可。
Vectara
可信企业Agentic RAG平台，治理、引用、幻觉控制。
Portkey Gateway
Portkey-AI主导，TypeScript轻量AI网关，200+模型统一API，集成Guardrails，MIT许可。
DeepSpeed-MII
微软DeepSpeed团队开源，Blocked KV Cache+Dynamic SplitFuse高吞吐推理库。
Kong AI Gateway
Kong Inc.主导，构建在Kong Gateway之上的AI网关，统一治理LLM/MCP/A2A流量，Apache-2.0许可。
LMDeploy
上海AI Lab开源，TurboMind引擎驱动，国产LLM/VLM高性能部署工具箱。
TorchTune
PyTorch官方原生后训练库，YAML配置+SFT/DPO/PPO/GRPO可黑盒配方。
GPT-OSS
OpenAI 自 GPT-2 以来首次开放权重，Apache-2.0 许可。
SEA-LION
AI Singapore 主导的东南亚多语种开放大模型家族，基于 Apertus/Gemma/Qwen/Llama 四大开源基座定制。
Gemma
Google DeepMind 开放权重大模型家族，Apache-2.0，端侧多模态。
Onyx Cloud
Onyx Cloud 开源企业搜索AI平台，40+连接器，高级RAG精准问答。
GPT4All
桌面级本地LLM聊天客户端，一键安装100%离线，MIT许可。
llama.cpp
C/C++高性能LLM推理引擎，GGUF发明者，MIT许可，15+后端。
Higress
阿里开源AI原生云原生网关，CNCF沙箱项目，基于Envoy，统一治理LLM API与MCP Server，Apache-2.0许可。
TensorRT-LLM
NVIDIA官方开源，编译优化大模型推理，NVIDIA GPU上极限吞吐引擎。
LlamaFactory
北航开源零代码大模型微调框架，统一100+模型全流程训练。