站内索引 / 课程与概念
搜索知识库
输入中文术语、英文别名、符号或 LaTeX。结果覆盖课程概念、正文、方程、实验、学习路径和资源，可按学科、主题、类型与难度筛选。
- article
注意力机制：从加权平均到自注意力
从数据相关的加权平均推导缩放点积注意力，明确 query、key、value 的形状、softmax 归一化与解释边界。
machine-learning · neural-networks · 难度 4 · 正文可读 - article
向量：从箭头到高维空间
从位移箭头、坐标与线性组合出发，理解向量如何成为描述方向、状态和高维数据的统一语言。
mathematics · linear-algebra · 难度 1 · 正文可读 - article
损失函数：把预测目标写成可优化的风险
区分单样本损失、经验风险、正则化目标与任务指标，比较回归和分类常用损失的统计含义与优化性质。
machine-learning · learning-theory · 难度 2 · 正文可读 - article
线性变换：把矩阵看作空间运动
把矩阵理解为保持线性组合的空间映射，并用基向量、行列式与奇异性解释二维变换的几何行为。
mathematics · linear-algebra · 难度 2 · 正文可读 - article
过拟合与泛化：训练集之外的误差从何而来
区分训练误差、验证估计、泛化间隙与分布偏移，并用容量、集中界和偏差方差分析解释模型选择。
machine-learning · learning-theory · 难度 3 · 正文可读 - paper
Attention Is All You Need
提出以自注意力为核心、无需循环结构的 Transformer 架构。
- concept
Transformer
组合多头自注意力、前馈网络、残差与归一化，构成并行序列建模架构。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
位置编码
向无序的注意力计算注入序列位置信息，比较正弦、学习式和相对位置方案。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
序列建模
根据顺序依赖分解联合概率或条件预测，处理可变长度输入与因果掩码。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
矩阵乘法
从行列内积和映射复合理解矩阵乘法，明确不可交换性与维度匹配条件。
mathematics · linear-algebra · 难度 2 · 详细大纲 - concept
自注意力
让同一序列产生 query、key、value，使每个位置按内容动态聚合其他位置。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
大语言模型
以大规模自回归 Transformer 建模文本分布，并区分预训练、对齐和推理阶段。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
对比表征学习
通过拉近匹配样本表示并推远不匹配样本，学习具有语义结构的嵌入空间。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
条件概率与独立性
在已知事件发生的条件下更新样本空间，并区分独立、互斥和条件独立。
mathematics · probability · 难度 2 · 详细大纲 - concept
自监督学习
从数据本身构造预测或对比任务，学习可迁移表示而不依赖人工标签。
machine-learning · neural-networks · 难度 4 · 详细大纲 - learning-path
从感知机到 Transformer
沿梯度流、卷积、循环、注意力和残差结构理解现代神经网络。
- experiment
注意力权重矩阵
比较 token 间分数、softmax 权重和因果掩码的作用。
machine-learning - equation
缩放点积注意力
\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\!\left(\frac{QK^\mathsf{T}}{\sqrt{d_k}}\right)V
machine-learning · neural-networks