为图像和长序列任务比较 CNN、RNN 与注意力
convolutional-neural-networks · recurrent-networks-lstm-gru · attention-mechanism
LEARNING PATH / PERCEPTRON-TO-TRANSFORMER
从感知机到 Transformer
沿梯度流、卷积、循环、注意力和残差结构理解现代神经网络。
约 32 小时15 个概念节点已经理解反向传播，希望系统比较主要神经网络架构的学习者。
本地学习进度0/15 节完成
阶段目标
- 01解释初始化、归一化与残差连接如何影响梯度传播。
- 02比较卷积、循环和注意力对结构先验的编码方式。
- 03拆解 Transformer 的自注意力、位置和前馈子层。
学习序列
- 01machine-learning / 难度 3正文
感知机与多层感知机
从线性阈值单元出发堆叠仿射变换和非线性激活，形成可学习的前馈网络。
未开始 - 02machine-learning / 难度 3正文
激活函数
比较 sigmoid、tanh、ReLU 等逐元素非线性对表达能力、梯度传播和稀疏性的影响。
未开始 - 03machine-learning / 难度 4大纲
参数初始化与梯度流
分析权重尺度如何影响前向方差和反向梯度，理解 Xavier 与 He 初始化。
未开始 - 04machine-learning / 难度 3大纲
计算图
把复合函数表示为基本运算节点和依赖边，为局部导数与反向累积建立结构。
未开始 - 05machine-learning / 难度 4正文
反向传播
沿计算图反向应用链式法则，高效累计标量损失对共享参数的梯度。
未开始 - 06machine-learning / 难度 4大纲
神经网络优化
把反向传播梯度交给小批量、动量和自适应优化器，并监控训练稳定性。
未开始 - 07machine-learning / 难度 4大纲
批归一化
利用小批量统计量标准化中间激活，并区分训练与推理阶段的统计处理。
未开始 - 08machine-learning / 难度 4大纲
残差连接
让层学习相对恒等映射的残差，改善深层网络的信息与梯度传播。
未开始 - 09machine-learning / 难度 4大纲
卷积神经网络
用局部连接和权重共享提取平移结构特征，并逐层扩大感受野。
未开始 - 10machine-learning / 难度 4大纲
循环网络、LSTM 与 GRU
用递归隐藏状态处理序列，并以门控机制缓解长期依赖中的梯度衰减。
未开始 - 11machine-learning / 难度 4大纲
序列建模
根据顺序依赖分解联合概率或条件预测，处理可变长度输入与因果掩码。
未开始 - 12machine-learning / 难度 4正文
注意力机制
根据 query 与 key 的相关性计算归一化权重，再加权汇聚 value 表示。
未开始 - 13machine-learning / 难度 4大纲
自注意力
让同一序列产生 query、key、value，使每个位置按内容动态聚合其他位置。
未开始 - 14machine-learning / 难度 4大纲
位置编码
向无序的注意力计算注入序列位置信息，比较正弦、学习式和相对位置方案。
未开始 - 15machine-learning / 难度 4大纲
Transformer
组合多头自注意力、前馈网络、残差与归一化，构成并行序列建模架构。
未开始
CHECKPOINTS
阶段检查
- 完成 残差连接
比较初始化、批归一化和残差连接改善深层训练的不同机制。
- 完成 Transformer
写出多头自注意力的形状变化，并解释位置编码为何必要。
PATH EXERCISES
综合练习
逐层追踪一个 Transformer 块
self-attention · positional-encoding · residual-connections · transformer