Transformer 解剖：从 Attention 到推理系统

一个写给工程师的 Transformer 专栏：既讲数学，也讲它在 GPU 上每一秒钟在做什么。

打开任何一篇关于大语言模型的论文，最底下的 backbone 大概率都是这张图：

flowchart LR
  X[输入 token 序列] --> EMB[Embedding + 位置编码]
  EMB --> B1[Transformer Block × N]
  B1 --> NORM[Final LayerNorm]
  NORM --> HEAD[LM Head / 分类头]
  HEAD --> Y[输出 logits]

GPT、Llama、DeepSeek-V3、Claude、Gemini——它们（至少是公开了结构的那些；Claude、Gemini 只公开了「基于 Transformer」，未公开具体结构）的差异藏在每个 Block 内部的细节里：注意力是不是分组共享（GQA / MQA）、FFN 是不是稀疏激活（MoE）、位置编码是 RoPE 还是 ALiBi、归一化放前面还是后面（Pre-LN / Post-LN）、激活函数是 GELU 还是 SwiGLU。但「Transformer Block × N」这个骨架本身，已经九年没变过了。

九年没变过的东西，值得彻底解剖一次。

这个专栏在解剖什么

这个专栏有三条主轴，对应你看到一段大模型代码时心里会冒出来的三类问题。

第一条：Attention 到底是怎么算的。 Q、K、V 三个矩阵从哪来，缩放点积里的 √d 为什么不能省，softmax 把分布拉宽还是压窄，Multi-Head 是把同一件事做 N 遍还是把 N 件事做一遍。位置编码为什么从 sinusoidal 一路演化到 RoPE，每一次演化解决了什么具体问题。这是数学层。

第二条：Transformer 在工程上长什么样。 Encoder / Decoder / Decoder-only 各自的归宿，BERT 与 GPT 的范式之战，Tokenizer 选 BPE 还是 SentencePiece，词表多大算够用，从零写一个 mini-GPT 训练它写古诗——读者会在这部分动手把整个 Transformer 跑起来。这是工程层。

第三条：推理系统是怎么榨干这台机器的。 这是本专栏最厚的部分，也是大多数 Transformer 教程不讲的部分。你的显卡在跑一次推理时，时间到底花在了哪里？为什么 Prefill 阶段是计算密集、Decode 阶段是访存密集？KV Cache 凭什么能让长序列生成省下几百倍的注意力计算、又凭什么会把显存打满？PagedAttention 解决了 KV Cache 的什么病？INT4 权重量化为什么能比 FP16 省下 75% 的权重显存，精度却通常只掉一点？投机解码是怎么用一个小模型替大模型「赌」出加速的？Flash Attention 为什么不是「更聪明的算法」而是「更懂内存层级的实现」？TP / PP / EP 三种并行各自适合多大的模型？

读完这三条主轴，你会建立一种很具体的能力：看到一段大模型代码、一段推理日志、一张 GPU 利用率曲线，能立刻在心里把它对应到 Transformer 的某个组件、某段计算、某个显存区域——而不是停留在「这是个黑盒」。

读完你能做到什么

1. 手推注意力，再手写实现。 Self-Attention 的数学、多头为什么有效、位置编码的几种做法，然后从零写一遍（第2章 Self-Attention、第3章 多头、第4章 位置编码、第8章 从零手写 Attention）。
2. 搭一个能跑的 mini-GPT。 Transformer Block 的组装、tokenizer 的作用与坑，以及一个可训练的小模型（第5章 Transformer Block、第9章 mini-GPT、第10章 Tokenizer）。
3. 解释为什么是 Decoder-only。 三种架构（Encoder-only / Decoder-only / Encoder-Decoder）的分工与胜负手、预训练目标的选择（第6章 架构谱系、第7章 预训练）。
4. 看懂显存账与推理优化。 KV Cache 为什么是推理的中心、量化省在哪、投机解码怎么换回时间、FlashAttention 与并行策略（第15章 KV Cache、第16章 量化、第17章 投机解码、第18章 FlashAttention 与并行）。
5. 理解规模与稀疏。 Scaling Laws 说了什么又没说什么、MoE 的路由与代价、长上下文的几条技术路线（第11章 Scaling Laws、第12章 MoE、第13章 长上下文）。
6. 看清推理的两个阶段与 Transformer 之后。 Prefill 与 Decode 为什么是两种性格完全不同的负载，以及 Transformer 之后有哪些替代路线（第14章 两阶段推理、第19章 Transformer 之后）。

这个专栏面向谁

• 想入门 LLM 的工程师：你写过 PyTorch，调用过 OpenAI / Claude API，但每次面对 Attention 的代码就想跳过。本专栏从 RNN 的瓶颈讲起，把每一个机制都对应到一个具体的工程问题，让你能一行行读懂主流大模型的实现。
• 做 LLM 应用开发的全栈：你用 LangChain / LangGraph / vLLM 搭过应用，想理解为什么同样的 prompt 在不同模型上 latency 差几倍、为什么 KV Cache 命中率决定了 QPS、为什么 batch size 不能无脑加。本专栏的推理系统部分给你的不是「调参口诀」，而是「能解释每一秒去哪了」的心智模型。
• AI 推理 / MLOps 工程师：你部署过 vLLM、SGLang、TensorRT-LLM，想搞清楚这些框架内部到底差在哪、各自的瓶颈在哪、什么场景该选哪个。本专栏第六部分的 5 章会带你把推理系统的关键技术（KV Cache、量化、投机解码、Flash Attention、并行策略）一一打开。
• 写过 Transformer 但没读源码的人：你在 Karpathy 的 minGPT 里写过 50 行 Attention，但没看过 vLLM 的 PagedAttention CUDA kernel，没读过 Flash Attention 的论文，对 RoPE 的旋转矩阵推导半懂不懂。本专栏是你从「会用」到「会看」的桥。

前置知识：本专栏假设读者熟悉 Python、PyTorch（能看懂 nn.Linear / nn.Module / 反向传播），具备线性代数基础（矩阵乘法、向量内积、softmax），了解神经网络训练的基本概念（损失函数、优化器、梯度下降）。不要求读者读过 Attention 论文，也不要求懂 CUDA 或者并行计算——这些会在用到的章节随讲随用。

目录

第一部分 · 为什么是 Transformer

• 前言
• 第 1 章 为什么是 Transformer：从 RNN 的瓶颈到一次降维打击

第二部分 · 注意力机制

• 第 2 章 Self-Attention：Q/K/V 三元组与缩放点积
• 第 3 章 Multi-Head Attention：分头的代数与几何意义
• 第 4 章 位置编码：从 Sinusoidal 到 RoPE
• 第 5 章 Transformer Block：FFN、LayerNorm、Residual 的角色

第三部分 · 架构家族

• 第 6 章 Encoder / Decoder / Decoder-only：三种架构的取舍
• 第 7 章 预训练范式之战：从 BERT 到 GPT

第四部分 · 从零实现

• 第 8 章 50 行 PyTorch 实现 Self-Attention
• 第 9 章 搭一个 mini-GPT：从零训练能写古诗的小模型
• 第 10 章 Tokenizer 工程：BPE / WordPiece / SentencePiece

第五部分 · 规模化

• 第 11 章 Scaling Laws：Chinchilla 法则与算力配比
• 第 12 章 Mixture of Experts：稀疏激活的工程账
• 第 13 章 长上下文之战：从 4K 到 1M

第六部分 · 推理系统

• 第 14 章 两阶段推理：Prefill 与 Decode 的不同性格
• 第 15 章 KV Cache 工程学：PagedAttention 解决了什么
• 第 16 章 量化实战：INT8 / INT4 / GPTQ / AWQ / FP8
• 第 17 章 投机解码：用小模型加速大模型
• 第 18 章 Flash Attention 与分布式推理：内存层级与多卡协同

终章

• 第 19 章 Transformer 之后：Mamba、Hybrid 与你接下来该读哪个专栏

与其他专栏的关联

• 前置/平行：《PyTorch 训练框架内核深度解析》——本专栏第 8、9 章会从零手写 Attention 和 mini-GPT，PyTorch 那个专栏讲的是 nn.Module、autograd、CUDA 核函数派发，能让你把"这一行 PyTorch 代码到底跑了什么"看透一层。
• 强延续：《vLLM 推理内核深度解析》——本专栏第六部分（第 14–18 章）讲清楚了 KV Cache、PagedAttention、量化、投机解码、Flash Attention 的设计动机；vLLM 那个专栏讲清楚了它们在一个真实推理引擎里如何被组装。一前一后是天然搭档。
• 强延续：《DeepSeek V4 源码剖析》——DeepSeek 把 MoE、MLA、FP8 等多项技术拼成了真正的 frontier 模型；本专栏第 12 章 MoE、第 16 章 FP8 量化是它的前置。
• 平行：《RAG 工程与检索系统设计》、《LangGraph 设计与实现》——这两个专栏是「在 Transformer 之上盖房子」，本专栏是「房子的地基」。
• 后续：《LLM 评测体系》——读完它你会理解为什么不同位置编码、不同上下文长度、不同量化方案会导致评测分数显著漂移；evals 那个专栏告诉你怎么测出来。

引用与版本

本专栏涉及的论文与代码版本如下（代码一律以表中 tag / 提交为准，各提交日期见表，最晚一条为 2026 年 9 月 9 日）：

每一条引用都会在出现处给出文献编号或仓库路径，读者可逐项核对。

关于模型超参那几张表：本专栏不逐行解析某个仓库，但正文里凡给出层数、头数、KV 头数、FFN 宽度、词表大小、是否共享 embedding 这类具体配置，都是对着 transformers 仓库里对应架构的 configuration_<arch>.py 默认值与 docstring 核过的，版本即上表的 4815a0a6a0。换一个版本这些默认值可能变——真要照抄配置，请以你手上那版的 configuration_*.py 为准。

版权声明

本专栏内容为 杨艺韬 版权所有，保留一切权利。未经书面许可，不得全文或大段转载、改编、翻译，或用于任何商业用途（含以本专栏内容训练模型、生成衍生课程或商品）。

欢迎分享本专栏的链接。引用少量内容用于评论、教学或研究时，请署名 杨艺韬 并附上原文链接。