ExLlamaV3
turboderp主导，消费级NVIDIA GPU本地LLM推理库，EXL3量化格式发源地，MIT许可。
排序
MLX
Apple机器学习研究团队出品，Apple Silicon统一内存原生的数组框架与LLM推理引擎。
Sonar
PygmalionAI主导的vLLM分支推理引擎，量化格式覆盖最广，AGPL-3.0许可。
DeepSpeed-MII
微软DeepSpeed团队开源，Blocked KV Cache+Dynamic SplitFuse高吞吐推理库。
TensorRT-LLM
NVIDIA官方开源，编译优化大模型推理，NVIDIA GPU上极限吞吐引擎。
LMDeploy
上海AI Lab开源，TurboMind引擎驱动，国产LLM/VLM高性能部署工具箱。
SGLang
SGLang是基于RadixAttention前缀缓存的高吞吐LLM/VLM服务框架。
PEFT
Hugging Face 开源的 LoRA/QLoRA/DoRA 等参数高效微调标准底座库。
TorchTune
PyTorch官方原生后训练库，YAML配置+SFT/DPO/PPO/GRPO可黑盒配方。
OpenRLHF
高性能分布式 RLHF 框架，支持 PPO/GRPO/REINFORCE++，基于 Ray 与 vLLM。
Unsloth
手写Triton内核加速LLM微调，单卡2倍速、省70%显存的开源库。
TRL
Hugging Face 官方后训练库，SFT/GRPO/DPO/KTO 等 Trainer 一站式封装。
veRL
字节火山引擎开源，PPO/GRPO/REINFORCE++强化学习后训练框架。
Colossal-AI
潞晨科技出品，集成多维并行与异构内存优化的开源大模型训练系统。
DeepSpeed
微软开源的ZeRO优化器标杆，支撑千亿模型训练的深度学习加速库。
Megatron-Core/LM
NVIDIA开源的GPU优化大规模Transformer训练库，并行策略事实标准。
Axolotl
YAML配置统一驱动LLM后训练，Apache-2.0许可的全栈微调框架。
MS-SWIFT
阿里达摩院开源，600+模型统一训练与部署的全栈框架。