诊断过拟合并选择正则化
model-evaluation · overfitting-generalization · regularization
LEARNING PATH / LINEAR-MODELS-TO-NEURAL-NETWORKS
从线性模型到神经网络
从监督学习和线性分类进入损失、泛化、多层感知机与反向传播。
约 24 小时12 个概念节点完成机器学习数学基础，希望理解神经网络为何能够训练的学习者。
本地学习进度0/12 节完成
阶段目标
- 01比较回归、分类和评价指标的建模目标。
- 02区分经验风险、过拟合与正则化的作用。
- 03沿计算图推导多层网络的反向梯度。
学习序列
- 01machine-learning / 难度 2正文
监督学习
从带标签样本学习输入到目标的预测规则，并区分训练目标、验证选择和测试评估。
未开始 - 02machine-learning / 难度 2正文
线性回归
用输入特征的线性组合预测连续目标，并由最小二乘估计参数。
未开始 - 03machine-learning / 难度 3正文
逻辑回归
以线性得分和 sigmoid 构造二分类概率模型，并用对数似然训练参数。
未开始 - 04machine-learning / 难度 2正文
损失函数
用可计算标量衡量预测与目标的差异，并区分平方损失、交叉熵和任务指标。
未开始 - 05machine-learning / 难度 2大纲
模型评估
按任务选择准确率、精确率、召回率、ROC 或回归误差，并避免训练集评估偏差。
未开始 - 06machine-learning / 难度 3正文
过拟合与泛化
分析训练误差与未见样本误差的差距，识别模型容量、数据量和分布偏移的作用。
未开始 - 07machine-learning / 难度 3正文
正则化
通过参数惩罚、数据增强或早停限制有效模型复杂度，以改善泛化。
未开始 - 08machine-learning / 难度 3大纲
经验风险最小化
用有限样本上的平均损失近似总体风险，并明确假设空间和优化误差。
未开始 - 09machine-learning / 难度 3正文
感知机与多层感知机
从线性阈值单元出发堆叠仿射变换和非线性激活，形成可学习的前馈网络。
未开始 - 10machine-learning / 难度 3正文
激活函数
比较 sigmoid、tanh、ReLU 等逐元素非线性对表达能力、梯度传播和稀疏性的影响。
未开始 - 11machine-learning / 难度 3大纲
计算图
把复合函数表示为基本运算节点和依赖边，为局部导数与反向累积建立结构。
未开始 - 12machine-learning / 难度 4正文
反向传播
沿计算图反向应用链式法则，高效累计标量损失对共享参数的梯度。
未开始
CHECKPOINTS
阶段检查
- 完成 损失函数
为回归和二分类分别选择输出解释、损失函数与评价指标。
- 完成 反向传播
为两层感知机画出计算图并逐节点计算局部导数。
PATH EXERCISES
综合练习
手算小型 MLP 的前向值与反向梯度
perceptron-mlp · activation-functions · backpropagation