MoE（混合专家模型） 是一种神经网络架构，不是与大语言模型（LLM）平级的概念——MoE 是 LLM 的一种实现方式，就像“涡轮增压发动机”是“汽车发动机”的一种具体技术路线。
1. 什么是 MoE？ #
MoE 的核心思想是“大总参、小激活”：把一个大模型拆成多个独立的“专家”子网络（比如几十到几百个），外加一个“门控路由器”。每次输入一个 token，路由器只挑选其中少数几个专家（通常是 top-2 或 top-8）来干活，其他专家处于休眠状态。
- 总参数量：所有专家的参数加起来非常大（例如 1T 参数）
- 激活参数量：每次推理实际用到的参数很少（例如 10B～50B）
- 效果：用很小的计算成本，获得接近大稠密模型的效果
2. MoE 与 LLM 的关系 #
|
概念 |
含义 |
举例 |
|---|---|---|
|
LLM（大语言模型） |
泛指基于海量文本训练的、参数规模巨大的语言模型 |
GPT-4、Claude、Llama、Qwen、DeepSeek |
|
MoE（混合专家模型） |
一种模型架构，属于 LLM 的“内部构造方式”之一 |
Mixtral 8x7B、DeepSeek V2 MoE、Qwen2.5-MoE、MiMo、Ling |
所以 MoE 不是 LLM 的对立面，而是 LLM 的一种稀疏化设计方案。与之相对的另一种常见架构是密集模型（Dense Model）——所有参数在每个 token 上都被激活。
3. MoE vs 密集模型：核心区别 #
|
对比维度 |
密集模型（Dense） |
稀疏 MoE 模型 |
|---|---|---|
|
参数利用 |
全部参数参与每次计算 |
只有部分专家被激活 |
|
计算量 |
随总参数量线性增长 |
总参很大，但计算量只随激活参数增长 |
|
训练成本 |
较高（全参数更新） |
较低（只更新激活的专家） |
|
推理成本 |
较高（所有参数都要加载到显存） |
较低（只需加载激活专家，但总参仍需存盘） |
|
典型代表 |
Llama 3 405B（稠密）、GPT-3 |
Mixtral 8x22B、DeepSeek V2、Qwen2.5-MoE、MiMo V2.6、Ling-3.1-flash
|
4. 为什么现在 MoE 这么流行？ #
因为 Scaling Law 表明：更大的总参数量 + 合理的激活参数 → 更强的能力。MoE 可以在不线性增加推理算力的前提下，把总参数量推到万亿级，性价比极高。
5. 一句话总结 #
MoE 是 LLM 的一种“稀疏专家”架构，用“大总参 + 小激活”的方式，让模型在推理时更快更省钱，同时保持甚至超越同参数密集模型的能力。