AI 大模型基建

微软DeepSpeed团队开源，Blocked KV Cache+Dynamic SplitFuse高吞吐推理库。

本地LLM推理服务框架，一键拉取模型，MIT许可，全平台。

NVIDIA官方开源，编译优化大模型推理，NVIDIA GPU上极限吞吐引擎。

上海AI Lab开源，TurboMind引擎驱动，国产LLM/VLM高性能部署工具箱。

跨平台移动端LLM部署引擎，ML编译原生GPU加速，Apache 2.0。

vLLM 生产级LLM推理与服务引擎，PagedAttention高吞吐，Apache 2.0。

C/C++高性能LLM推理引擎，GGUF发明者，MIT许可，15+后端。

SGLang是基于RadixAttention前缀缓存的高吞吐LLM/VLM服务框架。

Hugging Face 开源的 LoRA/QLoRA/DoRA 等参数高效微调标准底座库。

PyTorch官方原生后训练库，YAML配置+SFT/DPO/PPO/GRPO可黑盒配方。

高性能分布式 RLHF 框架，支持 PPO/GRPO/REINFORCE++，基于 Ray 与 vLLM。

手写Triton内核加速LLM微调，单卡2倍速、省70%显存的开源库。

Hugging Face 官方后训练库，SFT/GRPO/DPO/KTO 等 Trainer 一站式封装。

字节火山引擎开源，PPO/GRPO/REINFORCE++强化学习后训练框架。

潞晨科技出品，集成多维并行与异构内存优化的开源大模型训练系统。

微软开源的ZeRO优化器标杆，支撑千亿模型训练的深度学习加速库。

NVIDIA开源的GPU优化大规模Transformer训练库，并行策略事实标准。

全球价格最低的 frontier 级 MaaS，V4-Flash 输入 $0.14/MTok，V4-Pro 永久降价后仅 $0.435/MTok。