Skip to content

大模型架构

Main Navigation Home

大模型推理

大模型量化系列

大模型投机解码

模型格式与部署

模型计算器

Kernel 依赖分析器

Appearance

Sidebar Navigation

大模型推理

模型

架构

LLM

Decoder Layer

Residual

Attention

FFN

MoE

Output Pipeline

VLM

家族

Qwen

Qwen3

Qwen3.5

Qwen3.8-Flash-Next

DeepSeek

DeepSeek V3

Attention

MLA

DeepSeek V3.2

DeepSeek V4

Kimi

Kimi K3

量化

量化基础

量化对象

数值类型

数值映射

量化粒度

量化配置

典型方案

Weight-Activation

NVFP4（W4A4 / W4A16）

模型级精度映射

量化算法

PTQ

Weight-Only

GPTQ

AWQ

Weight-Activation

LLM.int8()

SmoothQuant

业界实现

llama.cpp

格式

SafeTensors

GGUF

框架

架构组件

Cache

Prefix Cache

Radix Attention

KV Cache

Paged Attention

Recurrent State Cache

ReplaySSM

服务调度

分离部署

PD 分离

请求调度

Chunked Prefill

Continuous Batching

并行策略

Workload

DP（Data Parallelism）

DP Attention

Model

TP（Tensor Parallelism）

EP（Expert Parallelism）

算子/通信

Computation

GEMM

执行方式

Communication

集合通信

领域能力

投机采样

方式

Draft Model

DSpark

DFlash

MTP

EAGLE

优化

ReplaySSM

引擎实现

vLLM

v1/v0 区别

SGLang

Overlap Schedule

Prefill CUDA graph

PCG（Piecewise CUDA Graph）

BCG（Breakable CUDA Graph）

模型实现

Qwen3.5-397B-A17B

Benchmark

硬件

NVIDIA

卡型

架构

硬件结构

SM

逻辑结构

存储

通信

机内

架构演进

CUDA

指令体系

矩阵指令

MMA

CUDA编程

通信

共享内存

特性

CUDA Graph

性能分析

专题

Warp States

优化

框架优化

数据传输优化专题

显存优化

优化 CUDA Graph 开销

On this page

数据传输优化专题

Pager

Next page大模型推理