01
模型与计算配置
选择模型，并集中设置权重格式与推理缓存场景。
模型
权重精度
每参数 1 Byte ；量化元数据未计入
推理缓存
02
✓ 与官方参数量一致 计算结果
权重 + 推理缓存31.44 GiB不包含激活值、临时 Workspace 与运行时预留
03
查看原始配置 ↗模型配置与流程
Token→Embedding→GQA Attention→Router → Top 8 Experts→LM Head
关键配置
- Hidden Size H
- 2,048
- Layers L
- 48
- Q Heads A
- 32
- KV Heads K
- 4
- Head Dim D
- 128
- Vocab Size V
- 151,936
- Routed Experts E
- 128
- Active Experts / Token
- 8
- MoE Intermediate Size M
- 768
04
参数执行树
按真实数据流展开，节点之和等于总参数。
将鼠标悬停在占比条上，查看颜色对应的模块。
Qwen3-30B-A3B参数按真实执行流程排列。30.53B30,532,122,624
输入Step 1Token 进入模型。311.16M1.0%
•Token EmbeddingToken ID 沿输入流程先映射为隐藏向量。311.16M1.0%
公式
V × H代入151,936 × 2,048Decoder Layers × 4848 层隐藏状态逐层经过 Pre-Norm、Attention、残差连接和 FFN。29.91B98.0%
单 Token 激活2.73B2,730,700,800
① Token Mixer先混合不同 Token 的信息。905.98M3.0%
•GQA Attention × 48Token Mixer每层执行 Q、K、V、O 投影；KV Heads 少于 Q Heads。905.97M3.0%
公式
L × [HAD + 2HKD + ADH]代入48 × [2048×32×128 + 2×2048×4×128 + 32×128×2048]•QK-Norm × 48Attention 内分别归一化 Q 和 K。12.29K<0.1%
公式
L × 2D代入48 × 2 × 128② Feed Forward再对每个 Token 独立变换。29.00B95.0%
•Router × 48每个 Token 都要计算全部专家的路由分数。12.58M<0.1%
公式
L × H × E代入48 × 2048 × 128•Routed Experts × 48Top 8全部 128 个 Expert 都要存储，每个 Token 只激活 8 个。28.99B95.0%
单 Token 激活1.81B1,811,939,328
公式
L × E × 3HM代入48 × 128 × 3 × 2048 × 768•Pre-Norm × 48每层在 Attention 和 FFN 之前各执行一次 RMSNorm。196.61K<0.1%
公式
L × 2H代入48 × 2 × 2048输出Step 3Decoder 结果转换为下一个 Token 的 logits。311.17M1.0%
•Final RMSNorm最后一层 Decoder 输出先归一化。2.05K<0.1%
公式
H代入2048•LM Head把隐藏状态投影为完整词表上的 logits。311.16M1.0%
公式
V × H代入151,936 × 2048