Ollama
本地LLM推理服务框架，一键拉取模型，MIT许可，全平台。
排序
PocketPal AI
手机端本地LLM客户端，100%设备端推理，MIT许可。
vLLM
vLLM 生产级LLM推理与服务引擎，PagedAttention高吞吐，Apache 2.0。
MLC LLM
跨平台移动端LLM部署引擎，ML编译原生GPU加速，Apache 2.0。
TextGen
多后端本地LLM Web UI平台，支持LoRA训练，AGPL-3.0。
LM Studio
桌面GUI本地模型客户端，个人与工作免费，全平台。
llama.cpp
C/C++高性能LLM推理引擎，GGUF发明者，MIT许可，15+后端。
GPT4All
桌面级本地LLM聊天客户端，一键安装100%离线，MIT许可。
Jan
开源桌面ChatGPT替代客户端，100%离线运行，Apache 2.0。
Sonar
PygmalionAI主导的vLLM分支推理引擎，量化格式覆盖最广，AGPL-3.0许可。
LMDeploy
上海AI Lab开源，TurboMind引擎驱动，国产LLM/VLM高性能部署工具箱。
ExLlamaV3
turboderp主导，消费级NVIDIA GPU本地LLM推理库，EXL3量化格式发源地，MIT许可。
DeepSpeed-MII
微软DeepSpeed团队开源，Blocked KV Cache+Dynamic SplitFuse高吞吐推理库。
MLX
Apple机器学习研究团队出品，Apple Silicon统一内存原生的数组框架与LLM推理引擎。
TensorRT-LLM
NVIDIA官方开源，编译优化大模型推理，NVIDIA GPU上极限吞吐引擎。
CTranslate2
OpenNMT团队开源，Transformer模型高效C++推理引擎，自定义运行时+faster-whisper底层。
SGLang
SGLang是基于RadixAttention前缀缓存的高吞吐LLM/VLM服务框架。