站内索引 / 课程与概念
搜索知识库
输入中文术语、英文别名、符号或 LaTeX。结果覆盖课程概念、正文、方程、实验、学习路径和资源，可按学科、主题、类型与难度筛选。
- article
期望、方差与协方差：分布的中心、尺度和共同变化
从分布定义期望和二阶矩，推导方差与协方差的运算规律，并区分独立、零协方差、相关和因果关系。
mathematics · probability · 难度 2 · 正文可读 - article
梯度下降：从局部下降方向到可诊断的优化过程
从一阶近似与光滑性条件推导梯度下降，分析学习率、曲率、尺度、动量和停止准则如何共同决定收敛轨迹。
mathematics · optimization · 难度 3 · 正文可读 - article
Stanford CS229 Course Materials
覆盖监督学习、广义线性模型、学习理论、优化与生成学习算法。
- article
导数、方向导数与梯度
从全微分建立多变量函数的最佳线性近似，用梯度表示方向导数，并区分欧氏最陡方向、一般度量和约束条件。
mathematics · calculus · 难度 3 · 正文可读 - article
MIT 18.02SC Multivariable Calculus
覆盖向量、矩阵、多元微分、多重积分与向量分析的自学课程。
- article
向量：从箭头到高维空间
从位移箭头、坐标与线性组合出发，理解向量如何成为描述方向、状态和高维数据的统一语言。
mathematics · linear-algebra · 难度 1 · 正文可读 - article
激活函数：表达能力、梯度传播与输出语义
从线性层复合的退化出发，比较 sigmoid、tanh、ReLU、GELU 与 SiLU 的函数形状、导数、数值行为和输出层适用范围。
machine-learning · neural-networks · 难度 3 · 正文可读 - concept
神经网络优化
把反向传播梯度交给小批量、动量和自适应优化器，并监控训练稳定性。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
自适应优化器
按参数历史梯度尺度调节有效学习率，比较 AdaGrad、RMSProp 和 Adam 的假设。
mathematics · optimization · 难度 4 · 详细大纲 - concept
随机梯度下降
用随机样本或小批量近似完整梯度，权衡计算成本、方差与泛化行为。
mathematics · optimization · 难度 3 · 详细大纲 - concept
一阶最优性条件
用梯度为零、方向导数和次梯度条件判断无约束候选最优点。
mathematics · optimization · 难度 3 · 详细大纲 - concept
动量优化
累积历史更新方向以抑制高曲率振荡，并加速沿稳定方向的前进。
mathematics · optimization · 难度 3 · 详细大纲 - concept
可微分物理
让数值模拟器对参数可微，以梯度方法进行系统辨识、控制和逆问题求解。
interdisciplinary · scientific-machine-learning · 难度 5 · 详细大纲 - concept
学习率调度
用分段、余弦、指数或预热策略控制训练不同时期的更新尺度。
mathematics · optimization · 难度 3 · 详细大纲 - concept
近端方法
用近端算子处理不可微正则项，并把梯度步骤与结构化收缩组合。
mathematics · optimization · 难度 5 · 详细大纲 - experiment
梯度下降
比较学习率与动量如何改变优化轨迹。
mathematics - concept
Hessian 矩阵
用二阶偏导矩阵描述标量函数的局部曲率，并分析极值点附近的方向结构。
mathematics · calculus · 难度 3 · 详细大纲 - concept
Lagrange 乘子
用乘子把等式约束并入目标函数，并从梯度平行关系推导候选解。
mathematics · optimization · 难度 4 · 详细大纲 - concept
Newton 方法
利用 Hessian 曲率修正梯度方向，理解二次收敛、阻尼和矩阵求解成本。
mathematics · optimization · 难度 4 · 详细大纲 - concept
参数初始化与梯度流
分析权重尺度如何影响前向方差和反向梯度，理解 Xavier 与 He 初始化。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
得分匹配
学习对数密度关于数据的梯度，避免显式计算归一化常数并连接去噪目标。
machine-learning · generative-models · 难度 5 · 详细大纲 - concept
循环网络、LSTM 与 GRU
用递归隐藏状态处理序列，并以门控机制缓解长期依赖中的梯度衰减。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
方向导数
沿任意给定方向定义多变量函数的变化率，并连接单位方向与局部线性近似。
mathematics · calculus · 难度 3 · 详细大纲 - concept
残差连接
让层学习相对恒等映射的残差，改善深层网络的信息与梯度传播。
machine-learning · neural-networks · 难度 4 · 详细大纲 - concept
矩阵乘法
从行列内积和映射复合理解矩阵乘法，明确不可交换性与维度匹配条件。
mathematics · linear-algebra · 难度 2 · 详细大纲 - concept
约束优化
在等式或不等式可行域内寻找最优解，并区分可行方向和活跃约束。
mathematics · optimization · 难度 4 · 详细大纲 - concept
迭代线性求解器
通过残差更新逐步逼近大型稀疏线性系统的解，并用谱性质判断收敛。
computer-science · scientific-computing · 难度 4 · 详细大纲 - book
Deep Learning
系统介绍深度网络的数学基础、优化与建模方法。
- learning-path
机器学习数学基础
把线性代数、多变量微分、概率矩和优化连接为机器学习的统一计算语言。
- equation
梯度下降更新
\boldsymbol{\theta}_{k+1}=\boldsymbol{\theta}_k-\eta\nabla L(\boldsymbol{\theta}_k)
mathematics · optimization - experiment
方向导数与梯度场
移动观察点和方向，比较梯度、方向向量与方向导数。
mathematics - book
Calculus Volume 3
覆盖向量、多元函数、多重积分与二阶微分方程的开放教材。
- learning-path
从感知机到 Transformer
沿梯度流、卷积、循环、注意力和残差结构理解现代神经网络。
- equation
方向导数与梯度
D_{\mathbf{u}}f(\mathbf{x})=\nabla f(\mathbf{x})^\mathsf{T}\mathbf{u}
mathematics · calculus - learning-path
高等数学基础
从函数极限进入一元微积分，再过渡到多变量变化率和微分方程。