PEFT
Hugging Face 开源的 LoRA/QLoRA/DoRA 等参数高效微调标准底座库。
排序
TorchTune
PyTorch官方原生后训练库，YAML配置+SFT/DPO/PPO/GRPO可黑盒配方。
OpenRLHF
高性能分布式 RLHF 框架，支持 PPO/GRPO/REINFORCE++，基于 Ray 与 vLLM。
Unsloth
手写Triton内核加速LLM微调，单卡2倍速、省70%显存的开源库。
TRL
Hugging Face 官方后训练库，SFT/GRPO/DPO/KTO 等 Trainer 一站式封装。
veRL
字节火山引擎开源，PPO/GRPO/REINFORCE++强化学习后训练框架。
Colossal-AI
潞晨科技出品，集成多维并行与异构内存优化的开源大模型训练系统。
DeepSpeed
微软开源的ZeRO优化器标杆，支撑千亿模型训练的深度学习加速库。
Megatron-Core/LM
NVIDIA开源的GPU优化大规模Transformer训练库，并行策略事实标准。
Axolotl
YAML配置统一驱动LLM后训练，Apache-2.0许可的全栈微调框架。
MS-SWIFT
阿里达摩院开源，600+模型统一训练与部署的全栈框架。
LlamaFactory
北航开源零代码大模型微调框架，统一100+模型全流程训练。