站内索引 / 课程与概念
搜索知识库
输入中文术语、英文别名、符号或 LaTeX。结果覆盖课程概念、正文、方程、实验、学习路径和资源，可按学科、主题、类型与难度筛选。
- article
监督学习：从带标签样本到可检验的预测规则
建立监督学习的问题定义，区分样本、模型、损失、经验风险、验证选择与未知分布上的泛化误差。
machine-learning · learning-theory · 难度 2 · 正文可读 - article
线性回归：从平方损失到最小二乘几何
从仿射预测、平方损失和矩阵表示推导最小二乘解、梯度、投影解释及其统计假设。
machine-learning · learning-theory · 难度 2 · 正文可读 - article
逻辑回归：从线性得分到二分类概率
由伯努利条件模型推导 sigmoid、对数几率、交叉熵、梯度与决策阈值，并说明线性可分和概率解释的边界。
machine-learning · learning-theory · 难度 3 · 正文可读 - article
损失函数：把预测目标写成可优化的风险
区分单样本损失、经验风险、正则化目标与任务指标，比较回归和分类常用损失的统计含义与优化性质。
machine-learning · learning-theory · 难度 2 · 正文可读 - concept
模型评估
按任务选择准确率、精确率、召回率、ROC 或回归误差，并避免训练集评估偏差。
machine-learning · learning-theory · 难度 2 · 详细大纲 - article
过拟合与泛化：训练集之外的误差从何而来
区分训练误差、验证估计、泛化间隙与分布偏移，并用容量、集中界和偏差方差分析解释模型选择。
machine-learning · learning-theory · 难度 3 · 正文可读 - article
正则化：用结构偏好约束有限数据中的学习
从惩罚经验风险推导 L2 与 L1 正则化，解释尺度、贝叶斯联系、早停和数据增强，并规范超参数选择。
machine-learning · learning-theory · 难度 3 · 正文可读 - concept
经验风险最小化
用有限样本上的平均损失近似总体风险，并明确假设空间和优化误差。
machine-learning · learning-theory · 难度 3 · 详细大纲 - concept
偏差—方差分解
把平方预测误差分解为系统偏差、样本波动与不可约噪声，解释模型复杂度权衡。
machine-learning · learning-theory · 难度 3 · 详细大纲 - concept
支持向量机
通过最大化分类间隔学习决策超平面，并由支持向量决定最终边界。
machine-learning · learning-theory · 难度 4 · 详细大纲 - concept
核方法
用正定核隐式计算高维特征空间内积，构造非线性分类和回归模型。
machine-learning · learning-theory · 难度 4 · 详细大纲 - concept
决策树
递归选择特征划分样本空间，并用纯度、深度和剪枝控制拟合复杂度。
machine-learning · learning-theory · 难度 3 · 详细大纲 - concept
集成学习
组合多个基学习器降低方差或偏差，比较 bagging、随机森林和 boosting。
machine-learning · learning-theory · 难度 4 · 详细大纲 - concept
主成分分析
寻找数据协方差最大的正交方向，并用低秩投影压缩和去噪。
machine-learning · learning-theory · 难度 3 · 详细大纲 - article
感知机与多层感知机：从线性边界到可学习的非线性
从线性阈值分类器、误分类更新与可分性出发，推导多层感知机的前向传播、张量形状、参数数量和表达能力边界。
machine-learning · neural-networks · 难度 3 · 正文可读 - article
激活函数：表达能力、梯度传播与输出语义
从线性层复合的退化出发，比较 sigmoid、tanh、ReLU、GELU 与 SiLU 的函数形状、导数、数值行为和输出层适用范围。
machine-learning · neural-networks · 难度 3 · 正文可读 - concept
参数初始化与梯度流
分析权重尺度如何影响前向方差和反向梯度，理解 Xavier 与 He 初始化。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
计算图
把复合函数表示为基本运算节点和依赖边，为局部导数与反向累积建立结构。
machine-learning · neural-networks · 难度 3 · 详细大纲 - article
反向传播：链式法则如何训练神经网络
沿计算图拆解前向值、局部导数与总梯度，理解反向模式自动微分为何能高效训练共享参数的神经网络。
machine-learning · neural-networks · 难度 4 · 正文可读 - concept
神经网络优化
把反向传播梯度交给小批量、动量和自适应优化器，并监控训练稳定性。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
批归一化
利用小批量统计量标准化中间激活，并区分训练与推理阶段的统计处理。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
残差连接
让层学习相对恒等映射的残差，改善深层网络的信息与梯度传播。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
卷积神经网络
用局部连接和权重共享提取平移结构特征，并逐层扩大感受野。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
循环网络、LSTM 与 GRU
用递归隐藏状态处理序列，并以门控机制缓解长期依赖中的梯度衰减。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
序列建模
根据顺序依赖分解联合概率或条件预测，处理可变长度输入与因果掩码。
machine-learning · neural-networks · 难度 4 · 详细大纲 - article
注意力机制：从加权平均到自注意力
从数据相关的加权平均推导缩放点积注意力，明确 query、key、value 的形状、softmax 归一化与解释边界。
machine-learning · neural-networks · 难度 4 · 正文可读 - concept
自注意力
让同一序列产生 query、key、value，使每个位置按内容动态聚合其他位置。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
位置编码
向无序的注意力计算注入序列位置信息，比较正弦、学习式和相对位置方案。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
Transformer
组合多头自注意力、前馈网络、残差与归一化，构成并行序列建模架构。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
图神经网络
通过邻域消息传递更新节点表示，并用置换不变聚合处理非欧氏结构。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
自监督学习
从数据本身构造预测或对比任务，学习可迁移表示而不依赖人工标签。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
大语言模型
以大规模自回归 Transformer 建模文本分布，并区分预训练、对齐和推理阶段。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
混合专家模型
用路由器为每个输入选择少量专家子网络，在计算受控时扩展参数容量。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
多模态学习
对齐文本、图像、音频等不同表示空间，并通过共享或交叉注意力融合信息。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
对比表征学习
通过拉近匹配样本表示并推远不匹配样本，学习具有语义结构的嵌入空间。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
生成模型
学习数据联合分布或生成过程，使模型能够采样、补全、重建并估计不确定性。
machine-learning · generative-models · 难度 4 · 详细大纲 - concept
潜变量模型
引入不可直接观测的随机变量解释数据结构，并通过边缘化连接隐变量与观测。
machine-learning · generative-models · 难度 4 · 详细大纲 - concept
自编码器
用编码器压缩输入并由解码器重建，学习受瓶颈或正则约束的表示。
machine-learning · generative-models · 难度 3 · 详细大纲 - concept
变分自编码器
用可学习近似后验和重参数化梯度优化证据下界，形成连续潜在空间。
machine-learning · generative-models · 难度 5 · 详细大纲 - concept
生成对抗网络
让生成器与判别器进行极小极大博弈，以隐式方式逼近数据分布。
machine-learning · generative-models · 难度 5 · 详细大纲 - concept
扩散模型
学习逐步去除噪声的逆过程，从简单噪声分布生成高维数据样本。
machine-learning · generative-models · 难度 5 · 详细大纲 - concept
得分匹配
学习对数密度关于数据的梯度，避免显式计算归一化常数并连接去噪目标。
machine-learning · generative-models · 难度 5 · 详细大纲 - concept
归一化流
用可逆变换和 Jacobian 行列式把简单密度映射为复杂密度，同时保留精确似然。
machine-learning · generative-models · 难度 5 · 详细大纲 - concept
自回归生成模型
按变量顺序分解联合分布，通过逐步条件预测实现精确似然与序列采样。
machine-learning · generative-models · 难度 4 · 详细大纲 - concept
能量模型
以未归一化能量函数为数据赋分，并通过采样或对比方法学习低能量区域。
machine-learning · generative-models · 难度 5 · 详细大纲 - concept
二分类判别
将输入映射为两个类别的概率或得分，并用决策阈值和混淆矩阵评价结果。
machine-learning · generative-models · 难度 2 · 详细大纲 - equation
缩放点积注意力
\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\!\left(\frac{QK^\mathsf{T}}{\sqrt{d_k}}\right)V
machine-learning · neural-networks - experiment
反向传播计算图
沿计算图分步检查局部导数与累积梯度。
machine-learning - experiment
神经网络决策边界
在 Worker 中训练小型网络并观察分类边界。
machine-learning - experiment
注意力权重矩阵
比较 token 间分数、softmax 权重和因果掩码的作用。
machine-learning