SUBJECT / learning-theory
学习基础
损失、泛化与模型评估。
01
课程章节
按难度与先修关系排列
- 01难度 2/5 · 正文可读监督学习从带标签样本学习输入到目标的预测规则，并区分训练目标、验证选择和测试评估。先修：functions-and-graphs · probability-axioms
- 02难度 2/5 · 正文可读损失函数用可计算标量衡量预测与目标的差异，并区分平方损失、交叉熵和任务指标。先修：supervised-learning · expectation-variance-covariance
- 03难度 2/5 · 详细大纲模型评估按任务选择准确率、精确率、召回率、ROC 或回归误差，并避免训练集评估偏差。先修：supervised-learning · sampling-distributions
- 04难度 2/5 · 正文可读线性回归用输入特征的线性组合预测连续目标，并由最小二乘估计参数。先修：supervised-learning · least-squares · expectation-variance-covariance
- 05难度 3/5 · 正文可读过拟合与泛化分析训练误差与未见样本误差的差距，识别模型容量、数据量和分布偏移的作用。先修：model-evaluation · supervised-learning
- 06难度 3/5 · 正文可读正则化通过参数惩罚、数据增强或早停限制有效模型复杂度，以改善泛化。先修：overfitting-generalization · optimization-objectives
- 07难度 3/5 · 详细大纲偏差—方差分解把平方预测误差分解为系统偏差、样本波动与不可约噪声，解释模型复杂度权衡。先修：overfitting-generalization · expectation-variance-covariance
- 08难度 3/5 · 详细大纲决策树递归选择特征划分样本空间，并用纯度、深度和剪枝控制拟合复杂度。先修：supervised-learning · entropy-mutual-information
- 09难度 3/5 · 正文可读逻辑回归以线性得分和 sigmoid 构造二分类概率模型，并用对数似然训练参数。先修：linear-regression · conditional-probability · maximum-likelihood-estimation
- 10难度 3/5 · 详细大纲经验风险最小化用有限样本上的平均损失近似总体风险，并明确假设空间和优化误差。先修：loss-functions · expectation-variance-covariance · optimization-objectives
- 11难度 3/5 · 详细大纲主成分分析寻找数据协方差最大的正交方向，并用低秩投影压缩和去噪。先修：expectation-variance-covariance · eigenvalues-eigenvectors · orthogonal-projection
- 12难度 4/5 · 详细大纲核方法用正定核隐式计算高维特征空间内积，构造非线性分类和回归模型。先修：support-vector-machines · positive-definite-matrices
- 13难度 4/5 · 详细大纲集成学习组合多个基学习器降低方差或偏差，比较 bagging、随机森林和 boosting。先修：decision-trees · bias-variance-tradeoff
- 14难度 4/5 · 详细大纲支持向量机通过最大化分类间隔学习决策超平面，并由支持向量决定最终边界。先修：logistic-regression · constrained-optimization · vector-operations