One Forth

SUBJECT / neural-networks

神经网络

计算图、表示学习与反向传播。

21 个概念4 篇正文从线性模型到神经网络
01

课程章节

按难度与先修关系排列

  1. 01难度 3/5 · 详细大纲计算图把复合函数表示为基本运算节点和依赖边，为局部导数与反向累积建立结构。先修：chain-rule · graph-algorithms约 90 分钟
  2. 02难度 3/5 · 正文可读感知机与多层感知机从线性阈值单元出发堆叠仿射变换和非线性激活，形成可学习的前馈网络。先修：linear-transformation · supervised-learning · loss-functions约 90 分钟
  3. 03难度 3/5 · 正文可读激活函数比较 sigmoid、tanh、ReLU 等逐元素非线性对表达能力、梯度传播和稀疏性的影响。先修：perceptron-mlp · functions-and-graphs · derivatives-and-differentials约 90 分钟
  4. 04难度 4/5 · 详细大纲序列建模根据顺序依赖分解联合概率或条件预测，处理可变长度输入与因果掩码。先修：recurrent-networks-lstm-gru · conditional-probability约 105 分钟
  5. 05难度 4/5 · 详细大纲位置编码向无序的注意力计算注入序列位置信息，比较正弦、学习式和相对位置方案。先修：self-attention · trigonometric-functions约 105 分钟
  6. 06难度 4/5 · 详细大纲参数初始化与梯度流分析权重尺度如何影响前向方差和反向梯度，理解 Xavier 与 He 初始化。先修：activation-functions · expectation-variance-covariance · matrix-multiplication约 105 分钟
  7. 07难度 4/5 · 正文可读反向传播沿计算图反向应用链式法则，高效累计标量损失对共享参数的梯度。先修：computation-graphs · chain-rule · perceptron-mlp约 105 分钟
  8. 08难度 4/5 · 详细大纲神经网络优化把反向传播梯度交给小批量、动量和自适应优化器，并监控训练稳定性。先修：backpropagation · stochastic-gradient-descent · adaptive-optimizers约 105 分钟
  9. 09难度 4/5 · 详细大纲批归一化利用小批量统计量标准化中间激活，并区分训练与推理阶段的统计处理。先修：perceptron-mlp · expectation-variance-covariance · neural-network-optimization约 105 分钟
  10. 10难度 4/5 · 详细大纲残差连接让层学习相对恒等映射的残差，改善深层网络的信息与梯度传播。先修：perceptron-mlp · backpropagation · initialization-gradient-flow约 105 分钟
  11. 11难度 4/5 · 详细大纲卷积神经网络用局部连接和权重共享提取平移结构特征，并逐层扩大感受野。先修：perceptron-mlp · matrix-multiplication · backpropagation约 105 分钟
  12. 12难度 4/5 · 详细大纲循环网络、LSTM 与 GRU用递归隐藏状态处理序列，并以门控机制缓解长期依赖中的梯度衰减。先修：perceptron-mlp · backpropagation · initialization-gradient-flow约 105 分钟
  13. 13难度 4/5 · 正文可读注意力机制根据 query 与 key 的相关性计算归一化权重，再加权汇聚 value 表示。先修：vectors · linear-transformation · conditional-probability约 105 分钟
  14. 14难度 4/5 · 详细大纲自注意力让同一序列产生 query、key、value，使每个位置按内容动态聚合其他位置。先修：attention-mechanism · matrix-multiplication · sequence-modeling约 105 分钟
  15. 15难度 4/5 · 详细大纲自监督学习从数据本身构造预测或对比任务，学习可迁移表示而不依赖人工标签。先修：overfitting-generalization · loss-functions · transformer约 105 分钟
  16. 16难度 4/5 · 详细大纲对比表征学习通过拉近匹配样本表示并推远不匹配样本，学习具有语义结构的嵌入空间。先修：loss-functions · vector-operations · self-supervised-learning约 105 分钟
  17. 17难度 4/5 · 详细大纲Transformer组合多头自注意力、前馈网络、残差与归一化，构成并行序列建模架构。先修：self-attention · positional-encoding · residual-connections · batch-normalization约 105 分钟
  18. 18难度 5/5 · 详细大纲图神经网络通过邻域消息传递更新节点表示，并用置换不变聚合处理非欧氏结构。先修：graph-algorithms · perceptron-mlp · linear-transformation约 120 分钟
  19. 19难度 5/5 · 详细大纲大语言模型以大规模自回归 Transformer 建模文本分布，并区分预训练、对齐和推理阶段。先修：transformer · self-supervised-learning · sequence-modeling约 120 分钟
  20. 20难度 5/5 · 详细大纲混合专家模型用路由器为每个输入选择少量专家子网络，在计算受控时扩展参数容量。先修：transformer · conditional-probability · perceptron-mlp约 120 分钟
  21. 21难度 5/5 · 详细大纲多模态学习对齐文本、图像、音频等不同表示空间，并通过共享或交叉注意力融合信息。先修：transformer · convolutional-neural-networks · contrastive-representation-learning约 120 分钟