从投影到最小二乘回归
least-squares · linear-transformation
LEARNING PATH / MATHEMATICS-FOR-MACHINE-LEARNING
机器学习数学基础
把线性代数、多变量微分、概率矩和优化连接为机器学习的统一计算语言。
约 14 小时7 个概念节点已经接触基础微积分和矩阵，希望进入模型训练机制的学习者。
本地学习进度0/7 节完成
阶段目标
- 01用向量和矩阵表达数据、参数与线性模型。
- 02用梯度和概率矩解释训练目标的局部变化与噪声。
- 03推导最小二乘与梯度下降的基本更新。
学习序列
- 01mathematics / 难度 1正文
向量
把向量理解为可加、可缩放的方向与状态表示，并连接坐标、几何和高维数据。
未开始 - 02mathematics / 难度 1正文
矩阵
把矩阵作为线性映射和线性方程组的有限维表示，区分行、列与形状。
未开始 - 03mathematics / 难度 2正文
线性变换
用保持线性组合的映射描述旋转、缩放、剪切和投影，并由基确定矩阵表示。
未开始 - 04mathematics / 难度 3正文
梯度
把各坐标偏导组织为向量，并用内积说明梯度给出无约束下最陡上升方向。
未开始 - 05mathematics / 难度 2正文
期望、方差与协方差
用期望描述中心趋势，以方差和协方差刻画波动尺度及变量的线性共同变化。
未开始 - 06mathematics / 难度 3大纲
最小二乘
把不相容线性方程转化为残差平方最小问题，并由投影推导正规方程。
未开始 - 07mathematics / 难度 3正文
梯度下降
沿负梯度方向迭代更新参数，并分析步长、曲率和初值对收敛的影响。
未开始
CHECKPOINTS
阶段检查
- 完成 线性变换
把一个批量线性预测写成矩阵乘法，并标出每个张量的形状。
- 完成 梯度下降
从平方损失推导一个参数更新，并说明步长过大时的行为。
PATH EXERCISES
综合练习
比较确定梯度与带噪梯度
expectation-variance-covariance · gradient · gradient-descent