Transformer 结构推导：一步一步搭出最小可运行 PyTorch 实现

Thu, 23 Apr 2026 10:13:23 +0800

副标题 / 摘要 这篇文章不把 Transformer 当成一个现成黑盒来介绍，而是直接从一个最小翻译任务开始，让需要的结构一层一层长出来，最后收束成一份最小可运行的 PyTorch encoder-decoder Transformer。

从一个最小翻译任务开始

假设源序列是：

<bos> I love apples <eos>

目标序列是：

<bos> 我 喜欢 苹果

当模型要生成“苹果”时：

所以这里天然会逼出三件事：

RNN 和 CNN 也能处理序列，但它们在长距离依赖和全并行训练上都有明显限制。所以这里真正要解决的，不只是“做一个更深的网络”，而是让任意位置能直接交互，并且显式控制信息流方向。

下面开始按这个压力一步一步长代码。

先看一个已经分词并编号后的最小输入：

<bos> I love apples <eos>
-> [1, 15, 982, 204, 2]

这里的 1, 15, 982, 204, 2 还不是模型已经理解后的表示。它们只是词表里的编号，作用更接近“标签”或“学号”：

所以第一步只解决一个更具体的问题：

怎样把“词表编号”变成“模型后面可以继续计算的一组连续数值”？

这里再引入两个词：

先写最小版，不额外引入别的机制：

Sun, 25 Jan 2026 20:08:41 +0800

从算法抽象、复杂度与工程约束出发，解释 Transformer 如何用注意力替代递归与卷积，并给出可运行示例与选型指南。

Sat, 24 Jan 2026 16:20:59 +0800

用 ACERS 框架解释多头注意力的必要性、核心原理与工程场景，并给出最小可运行示例。

Sat, 24 Jan 2026 15:44:12 +0800

用 ACERS 框架讲清 self-attention 与 cross-attention 的核心差异、公式与工程场景。