站内索引 / 课程与概念
搜索知识库
输入中文术语、英文别名、符号或 LaTeX。结果覆盖课程概念、正文、方程、实验、学习路径和资源，可按学科、主题、类型与难度筛选。
- article
反向传播：链式法则如何训练神经网络
沿计算图拆解前向值、局部导数与总梯度，理解反向模式自动微分为何能高效训练共享参数的神经网络。
machine-learning · neural-networks · 难度 4 · 正文可读 - article
感知机与多层感知机：从线性边界到可学习的非线性
从线性阈值分类器、误分类更新与可分性出发，推导多层感知机的前向传播、张量形状、参数数量和表达能力边界。
machine-learning · neural-networks · 难度 3 · 正文可读 - article
线性变换：把矩阵看作空间运动
把矩阵理解为保持线性组合的空间映射，并用基向量、行列式与奇异性解释二维变换的几何行为。
mathematics · linear-algebra · 难度 2 · 正文可读 - article
函数与函数图像：从对应规则到可分析的关系
把函数理解为定义域到陪域的确定对应，掌握表示、复合、反函数、图像变换和分段函数的基本方法。
mathematics · foundations · 难度 1 · 正文可读 - article
导数、方向导数与梯度
从全微分建立多变量函数的最佳线性近似，用梯度表示方向导数，并区分欧氏最陡方向、一般度量和约束条件。
mathematics · calculus · 难度 3 · 正文可读 - article
梯度下降：从局部下降方向到可诊断的优化过程
从一阶近似与光滑性条件推导梯度下降，分析学习率、曲率、尺度、动量和停止准则如何共同决定收敛轨迹。
mathematics · optimization · 难度 3 · 正文可读 - article
正则化：用结构偏好约束有限数据中的学习
从惩罚经验风险推导 L2 与 L1 正则化，解释尺度、贝叶斯联系、早停和数据增强，并规范超参数选择。
machine-learning · learning-theory · 难度 3 · 正文可读 - concept
批归一化
利用小批量统计量标准化中间激活，并区分训练与推理阶段的统计处理。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
生成对抗网络
让生成器与判别器进行极小极大博弈，以隐式方式逼近数据分布。
machine-learning · generative-models · 难度 5 · 详细大纲 - concept
生成模型
学习数据联合分布或生成过程，使模型能够采样、补全、重建并估计不确定性。
machine-learning · generative-models · 难度 4 · 详细大纲 - concept
神经网络优化
把反向传播梯度交给小批量、动量和自适应优化器，并监控训练稳定性。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
自适应优化器
按参数历史梯度尺度调节有效学习率，比较 AdaGrad、RMSProp 和 Adam 的假设。
mathematics · optimization · 难度 4 · 详细大纲 - concept
随机梯度下降
用随机样本或小批量近似完整梯度，权衡计算成本、方差与泛化行为。
mathematics · optimization · 难度 3 · 详细大纲 - concept
偏微分方程
用多个自变量的偏导描述场的空间与时间变化，并区分椭圆、抛物和双曲类型。
mathematics · calculus · 难度 4 · 详细大纲 - concept
卷积神经网络
用局部连接和权重共享提取平移结构特征，并逐层扩大感受野。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
图神经网络
通过邻域消息传递更新节点表示，并用置换不变聚合处理非欧氏结构。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
图算法
在节点和边结构上执行遍历、最短路和拓扑排序，分析可达性与依赖关系。
computer-science · algorithms · 难度 3 · 详细大纲 - concept
多模态学习
对齐文本、图像、音频等不同表示空间，并通过共享或交叉注意力融合信息。
machine-learning · neural-networks · 难度 5 · 详细大纲 - concept
物理信息神经网络
把微分方程残差、边界条件和数据误差共同写入损失函数，近似场的解。
interdisciplinary · scientific-machine-learning · 难度 5 · 详细大纲 - concept
矩阵乘法
从行列内积和映射复合理解矩阵乘法，明确不可交换性与维度匹配条件。
mathematics · linear-algebra · 难度 2 · 详细大纲 - concept
科学机器学习
把可解释科学模型、观测数据和学习算法组合，用于反演、预测与加速计算。
interdisciplinary · scientific-machine-learning · 难度 4 · 详细大纲 - concept
自动微分
把程序拆为基本运算图，通过前向或反向累积精确应用链式法则。
computer-science · algorithms · 难度 4 · 详细大纲 - learning-path
从感知机到 Transformer
沿梯度流、卷积、循环、注意力和残差结构理解现代神经网络。
- concept
Lagrange 乘子
用乘子把等式约束并入目标函数，并从梯度平行关系推导候选解。
mathematics · optimization · 难度 4 · 详细大纲 - concept
一阶最优性条件
用梯度为零、方向导数和次梯度条件判断无约束候选最优点。
mathematics · optimization · 难度 3 · 详细大纲 - concept
二分类判别
将输入映射为两个类别的概率或得分，并用决策阈值和混淆矩阵评价结果。
machine-learning · generative-models · 难度 2 · 详细大纲 - concept
傅里叶变换
把非周期信号表示为连续频率成分，并连接时域卷积、频域乘法和谱宽。
mathematics · calculus · 难度 4 · 详细大纲 - concept
凸集
用线段闭包定义凸集，并识别半空间、范数球和仿射集合等基本例子。
mathematics · optimization · 难度 3 · 详细大纲 - concept
函数空间映射
把输入函数映射为输出函数，区分有限维参数拟合与无限维算子学习。
interdisciplinary · scientific-machine-learning · 难度 5 · 详细大纲 - concept
动量优化
累积历史更新方向以抑制高曲率振荡，并加速沿稳定方向的前进。
mathematics · optimization · 难度 3 · 详细大纲 - concept
参数初始化与梯度流
分析权重尺度如何影响前向方差和反向梯度，理解 Xavier 与 He 初始化。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
序列建模
根据顺序依赖分解联合概率或条件预测，处理可变长度输入与因果掩码。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
循环网络、LSTM 与 GRU
用递归隐藏状态处理序列，并以门控机制缓解长期依赖中的梯度衰减。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
支持向量机
通过最大化分类间隔学习决策超平面，并由支持向量决定最终边界。
machine-learning · learning-theory · 难度 4 · 详细大纲 - concept
数列与级数
研究离散序列的极限、递推关系和无穷求和，为连续极限与函数展开建立基础。
mathematics · foundations · 难度 2 · 详细大纲 - concept
最大似然估计
把观测数据在模型参数下的概率视为目标函数，并求使其最大的参数。
mathematics · probability · 难度 3 · 详细大纲 - concept
目标函数与可行域
把决策变量、目标函数和约束写成明确优化问题，并区分局部与全局最优。
mathematics · optimization · 难度 2 · 详细大纲 - concept
神经算子
学习函数空间之间的映射，使模型能够跨输入场和网格近似一族算子解。
interdisciplinary · scientific-machine-learning · 难度 5 · 详细大纲 - concept
约束优化
在等式或不等式可行域内寻找最优解，并区分可行方向和活跃约束。
mathematics · optimization · 难度 4 · 详细大纲 - concept
经验风险最小化
用有限样本上的平均损失近似总体风险，并明确假设空间和优化误差。
machine-learning · learning-theory · 难度 3 · 详细大纲 - concept
能量模型
以未归一化能量函数为数据赋分，并通过采样或对比方法学习低能量区域。
machine-learning · generative-models · 难度 5 · 详细大纲 - symbol
K · 注意力键矩阵
K
- symbol
Q · 注意力查询矩阵
Q
- symbol
V · 注意力值矩阵
V
- experiment
神经网络决策边界
在 Worker 中训练小型网络并观察分类边界。
machine-learning - symbol
eta · 梯度下降学习率
eta
- symbol
L · 待最小化的损失函数
L
- symbol
theta · 模型参数向量
oldsymbol{ heta}
- learning-path
生成模型入门
比较潜变量、重建、对抗、流、能量、得分和扩散等生成建模路线。