Ollama
本地LLM推理服务框架，一键拉取模型，MIT许可，全平台。
排序
LM Studio
桌面GUI本地模型客户端，个人与工作免费，全平台。
llama.cpp
C/C++高性能LLM推理引擎，GGUF发明者，MIT许可，15+后端。
vLLM
vLLM 生产级LLM推理与服务引擎，PagedAttention高吞吐，Apache 2.0。
Jan
开源桌面ChatGPT替代客户端，100%离线运行，Apache 2.0。
GPT4All
桌面级本地LLM聊天客户端，一键安装100%离线，MIT许可。
Open WebUI
自托管AI平台，完全离线，ChatGPT级界面，Docker一键启动。
LocalAI
开源OpenAI API本地替代推理服务，Docker一条命令启动，MIT许可。
TextGen
多后端本地LLM Web UI平台，支持LoRA训练，AGPL-3.0。
PocketPal AI
手机端本地LLM客户端，100%设备端推理，MIT许可。
MLC LLM
跨平台移动端LLM部署引擎，ML编译原生GPU加速，Apache 2.0。