站内索引 / 课程与概念
搜索知识库
输入中文术语、英文别名、符号或 LaTeX。结果覆盖课程概念、正文、方程、实验、学习路径和资源，可按学科、主题、类型与难度筛选。
- article
感知机与多层感知机：从线性边界到可学习的非线性
从线性阈值分类器、误分类更新与可分性出发，推导多层感知机的前向传播、张量形状、参数数量和表达能力边界。
machine-learning · neural-networks · 难度 3 · 正文可读 - article
激活函数：表达能力、梯度传播与输出语义
从线性层复合的退化出发，比较 sigmoid、tanh、ReLU、GELU 与 SiLU 的函数形状、导数、数值行为和输出层适用范围。
machine-learning · neural-networks · 难度 3 · 正文可读 - concept
参数初始化与梯度流
分析权重尺度如何影响前向方差和反向梯度，理解 Xavier 与 He 初始化。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
计算图
把复合函数表示为基本运算节点和依赖边，为局部导数与反向累积建立结构。
machine-learning · neural-networks · 难度 3 · 详细大纲 - article
反向传播：链式法则如何训练神经网络
沿计算图拆解前向值、局部导数与总梯度，理解反向模式自动微分为何能高效训练共享参数的神经网络。
machine-learning · neural-networks · 难度 4 · 正文可读 - concept
神经网络优化
把反向传播梯度交给小批量、动量和自适应优化器，并监控训练稳定性。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
批归一化
利用小批量统计量标准化中间激活，并区分训练与推理阶段的统计处理。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
残差连接
让层学习相对恒等映射的残差，改善深层网络的信息与梯度传播。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
卷积神经网络
用局部连接和权重共享提取平移结构特征，并逐层扩大感受野。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
循环网络、LSTM 与 GRU
用递归隐藏状态处理序列，并以门控机制缓解长期依赖中的梯度衰减。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
序列建模
根据顺序依赖分解联合概率或条件预测，处理可变长度输入与因果掩码。
machine-learning · neural-networks · 难度 4 · 详细大纲 - article
注意力机制：从加权平均到自注意力
从数据相关的加权平均推导缩放点积注意力，明确 query、key、value 的形状、softmax 归一化与解释边界。
machine-learning · neural-networks · 难度 4 · 正文可读 - concept
自注意力
让同一序列产生 query、key、value，使每个位置按内容动态聚合其他位置。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
位置编码
向无序的注意力计算注入序列位置信息，比较正弦、学习式和相对位置方案。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
Transformer
组合多头自注意力、前馈网络、残差与归一化，构成并行序列建模架构。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
图神经网络
通过邻域消息传递更新节点表示，并用置换不变聚合处理非欧氏结构。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
自监督学习
从数据本身构造预测或对比任务，学习可迁移表示而不依赖人工标签。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
大语言模型
以大规模自回归 Transformer 建模文本分布，并区分预训练、对齐和推理阶段。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
混合专家模型
用路由器为每个输入选择少量专家子网络，在计算受控时扩展参数容量。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
多模态学习
对齐文本、图像、音频等不同表示空间，并通过共享或交叉注意力融合信息。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
对比表征学习
通过拉近匹配样本表示并推远不匹配样本，学习具有语义结构的嵌入空间。
machine-learning · neural-networks · 难度 4 · 详细大纲 - equation
缩放点积注意力
\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\!\left(\frac{QK^\mathsf{T}}{\sqrt{d_k}}\right)V
machine-learning · neural-networks