熊猫老爹

ExLlamaV3

turboderp主导，消费级NVIDIA GPU本地LLM推理库，EXL3量化格式发源地，MIT许可。

MLX

Apple机器学习研究团队出品，Apple Silicon统一内存原生的数组框架与LLM推理引擎。

Sonar

PygmalionAI主导的vLLM分支推理引擎，量化格式覆盖最广，AGPL-3.0许可。

DeepSpeed-MII

微软DeepSpeed团队开源，Blocked KV Cache+Dynamic SplitFuse高吞吐推理库。

TensorRT-LLM

NVIDIA官方开源，编译优化大模型推理，NVIDIA GPU上极限吞吐引擎。

LMDeploy

上海AI Lab开源，TurboMind引擎驱动，国产LLM/VLM高性能部署工具箱。

SGLang

SGLang是基于RadixAttention前缀缓存的高吞吐LLM/VLM服务框架。

PEFT

Hugging Face 开源的 LoRA/QLoRA/DoRA 等参数高效微调标准底座库。

TorchTune

PyTorch官方原生后训练库，YAML配置+SFT/DPO/PPO/GRPO可黑盒配方。

OpenRLHF

高性能分布式 RLHF 框架，支持 PPO/GRPO/REINFORCE++，基于 Ray 与 vLLM。

Unsloth

手写Triton内核加速LLM微调，单卡2倍速、省70%显存的开源库。

TRL

Hugging Face 官方后训练库，SFT/GRPO/DPO/KTO 等 Trainer 一站式封装。