大模型推理
围绕模型结构、推理引擎、硬件与性能优化，梳理大模型推理的原理与实现。
1. 知识地图
388 个知识节点 最深 9 层
点击节点圆点展开或收起分支。拖动画布浏览，滚轮缩放。
2. 文章目录
- Attention
- 大模型量化系列（四）：AWQ — 用 Activation 找到关键 Weight
- BCG（breakable CUDA Graph）
- Chunked Prefill
- Collective
- Continuous Batching
- 数据传输优化专题
- CUDA
- CUDA Graph
- 优化 CUDA Graph 开销
- CUDA 跨进程共享显存
- 数据传输优化专题
- DeepSeek V3
- DeepSeek V3.2
- DeepSeek V4
- DFlash
- DP Attention
- DSpark
- 大模型投机解码（二）：EAGLE 系列 — 从特征外推到动态草稿树
- EP（Expert Parallelism）
- GEMM
- GEMM 执行方式
- GGUF
- 大模型量化系列（三）：GPTQ — 把大模型权重量化到 3/4 bit
- 机内
- Kimi K3
- llama.cpp：K-Quant 与 I-Quant
- LLM
- 大模型量化系列（一）：LLM.int8() — 重新定义量化领域的问题空间
- 模型级精度映射
- MLA
- MoE
- 大模型投机解码（三）：Multi-token Prediction — 让模型自己当 Draft
- NanoSpec：用上下文最小词表给投机解码再提速
- NVFP4（常见 W4A4）
- 架构演进
- 卡型对比
- 存储
- NVIDIA MMA：GPU 架构、精度支持与 PTX 示例
- SM
- 硬件架构
- Output
- Overlap Schedule
- Paged Attention
- 并行
- PD 分离
- Piecewise CUDA Graph
- 量化配置
- 数值类型
- 量化基础
- 量化粒度
- 量化对象
- 数值映射
- Dense 架构
- Qwen3
- Qwen3.5
- Qwen3.5 架构解析：Gated DeltaNet + Full Attention 混合架构
- Qwen3.8-Flash-Next
- Radix Attention
- ReplaySSM
- ReplaySSM：缓存输入而非状态
- Residual
- SafeTensors
- Benchmark
- Qwen3.5-397B-A17B
- 大模型量化系列（二）：SmoothQuant — 把 Outlier 从 Activation 迁移到 Weight
- 投机解码
- TP（Tensor Parallelism）
- v1/v0 区别
- VLM
- Warp States
3. 主线
- 模型结构：从 LLM 的完整数据流开始，理解 Attention、MoE、Residual、输出流程与主流模型家族。
- 推理引擎：沿 Continuous Batching、并行策略等，理解请求如何被组织成设备上的实际工作负载。