Qwen 系列

Qwen 系列采用 Decoder-only Transformer 架构，从 Qwen2 到 Qwen3.5 逐步演进：

• Qwen2 — 标准 GQA + SwiGLU + RoPE 架构
• Qwen3 — 引入 QK-Norm 稳定训练
• Qwen3.5 — 混合注意力架构（Full Attention + Gated Delta Net）

特性	Qwen2	Qwen3	Qwen3.5
Attention 类型	GQA	GQA	Hybrid（Full Attention + GDN）
QK-Norm	无	RMSNorm	Full Attn 层有 RMSNorm，GDN 层用 L2-Norm
Output Gating	无	无	Full Attn 层有 Sigmoid Gate
KV Cache	全部层需要	全部层需要	仅 Full Attn 层需要（1/4 层）
位置编码	RoPE	RoPE	Full Attn 用 RoPE，GDN 无需位置编码
MLP	SwiGLU	SwiGLU	SwiGLU