One Forth

课程主题

学习基础

损失、泛化与模型评估。

01

课程章节

按难度与先修关系排列

  1. 01难度 2/5监督学习从带标签样本学习输入到目标的预测规则，并区分训练目标、验证选择和测试评估。先修：函数、复合与图像 · 概率公理与事件约 75 分钟
  2. 02难度 2/5损失函数用可计算标量衡量预测与目标的差异，并区分平方损失、交叉熵和任务指标。先修：监督学习 · 期望、方差与协方差约 75 分钟
  3. 03难度 2/5线性回归用输入特征的线性组合预测连续目标，并由最小二乘估计参数。先修：监督学习 · 期望、方差与协方差约 75 分钟
  4. 04难度 3/5过拟合与泛化分析训练误差与未见样本误差的差距，识别模型容量、数据量和分布偏移的作用。先修：监督学习约 90 分钟
  5. 05难度 3/5正则化通过参数惩罚、数据增强或早停限制有效模型复杂度，以改善泛化。先修：过拟合与泛化约 90 分钟
  6. 06难度 3/5训练、验证、测试与数据泄漏按部署单位、时间和依赖结构划分训练、验证与测试数据，确保预处理和模型选择只使用允许信息，并诊断重复实体与目标泄漏。先修：监督学习 · 条件概率与独立性 · 数据处理与实验设计综合复习约 90 分钟
  7. 07难度 3/5分类、回归指标与基线按任务代价和输出类型选择分类、回归与概率指标，以简单基线、阈值曲线、分组结果和区间判断模型是否带来实质改进。先修：损失函数 · 训练、验证、测试与数据泄漏 · 置信区间约 90 分钟
  8. 08难度 3/5决策树、划分准则与剪枝通过递归划分和不纯度下降构建分类回归树，以停止规则和代价复杂度剪枝控制方差，并检查缺失与类别偏差。先修：训练、验证、测试与数据泄漏 · 熵、互信息与散度 · 分类、回归指标与基线约 90 分钟
  9. 09难度 3/5逻辑回归以线性得分和 sigmoid 构造二分类概率模型，并用对数似然训练参数。先修：线性回归 · 条件概率与独立性约 90 分钟
  10. 10难度 4/5分布偏移、置信区间与不确定性区分协变量、标签与概念偏移，通过重采样、分组评估和校准诊断量化性能波动，并限制对新环境的外推。先修：分类、回归指标与基线 · 抽样分布 · 置信区间约 105 分钟
  11. 11难度 4/5经验风险、容量与一致收敛比较经验风险与总体风险，用假设类容量、集中不等式和一致收敛界说明有限样本泛化，并解释界的假设和松弛性。先修：过拟合与泛化 · 概率模型综合复习 · 损失函数约 105 分钟
  12. 12难度 4/5特征映射、正定核与再生核空间把输入映射到内积特征空间，以正半定 Gram 矩阵识别有效核，并通过再生性质理解核展开和表示定理的条件。先修：Hilbert 空间、正交投影与对偶 · 正则化约 105 分钟
  13. 13难度 4/5最大间隔与支持向量机由几何间隔建立硬间隔与软间隔优化，经 Lagrange 对偶得到支持向量展开，并用核函数表示非线性边界。先修：特征映射、正定核与再生核空间 · 约束优化、KKT 条件与对偶性 · 逻辑回归约 105 分钟
  14. 14难度 4/5随机森林与袋装集成对 bootstrap 样本训练随机特征树以降低相关方差，使用袋外预测估计性能，并辨析特征重要度的选择偏差。先修：决策树、划分准则与剪枝 · 概率模型综合复习 · 抽样分布约 105 分钟
  15. 15难度 4/5AdaBoost、梯度提升与残差拟合把弱学习器逐步加入加法模型，比较 AdaBoost 的样本加权与梯度提升的函数空间下降，并分析收缩和树深度。先修：决策树、划分准则与剪枝 · 梯度下降 · 损失函数约 105 分钟
  16. 16难度 4/5聚类目标、K 均值与密度方法比较质心、连接和密度聚类的目标与距离假设，诊断初始化和尺度敏感性，并用稳定性与领域语义限制簇解释。先修：优化模型、可行域与最优性 · 分类、回归指标与基线约 105 分钟
  17. 17难度 4/5主成分分析与流形降维由中心化协方差的谱分解和最佳低秩逼近推导 PCA，并比较邻域图流形方法的尺度选择与可视化失真。先修：特征值与特征向量 · 聚类目标、K 均值与密度方法约 105 分钟
  18. 18难度 4/5贝叶斯网络与 Markov 随机场以有向无环图或无向图编码条件独立关系，将联合分布因子化，并区分统计依赖、生成方向和因果主张。先修：条件概率与独立性 · 图、路径、连通性与树约 105 分钟
  19. 19难度 4/5变量消元、消息传递与精确推断通过因子乘积、求和和变量消元计算边缘概率，在树结构上传递消息，并用诱导宽度分析一般图中的计算成本。先修：贝叶斯网络与 Markov 随机场 · 动态规划与图算法 · 条件概率与独立性约 105 分钟
  20. 20难度 4/5EM 算法与变分推断由潜变量模型的对数似然下界推导 EM 单调改进，再把不可解后验投影到可计算分布族并量化变分偏差。先修：贝叶斯网络与 Markov 随机场 · 期望、方差与协方差 · 优化模型、可行域与最优性约 105 分钟
  21. 21难度 4/5Markov 决策过程用状态、动作、转移概率、奖励和折扣因子形式化序贯决策，并由 Bellman 方程刻画价值。先修：条件概率与独立性 · 期望、方差与协方差约 105 分钟
  22. 22难度 4/5动态规划与时序差分比较已知模型下的动态规划、完整轨迹回报和一步自举更新，分析价值估计的偏差与方差。先修：Markov 决策过程 · 大数定律约 105 分钟
  23. 23难度 4/5Q-learning以时序差分误差更新动作价值，在行为策略之外逼近最优贪心策略。先修：动态规划与时序差分 · 过拟合与泛化约 105 分钟
  24. 24难度 4/5机器学习问题与评估综合复习从任务定义和样本生成过程开始，联合损失、数据切分、指标、基线、不确定性与分布偏移建立不泄漏的评估协议。先修：监督学习 · 训练、验证、测试与数据泄漏 · 损失函数 · 分类、回归指标与基线 · 分布偏移、置信区间与不确定性约 105 分钟
  25. 25难度 4/5线性模型与统计学习综合复习综合线性与 Logistic 回归、正则化、模型选择、偏差方差和容量控制，按训练协议与独立测试证据评估线性学习系统。先修：线性回归 · 逻辑回归 · 过拟合与泛化 · 正则化 · 经验风险、容量与一致收敛约 105 分钟
  26. 26难度 4/5核方法、树模型与集成学习综合复习比较核方法、单树、随机森林和提升模型的归纳偏置、优化目标、复杂度、校准、解释与部署成本。先修：特征映射、正定核与再生核空间 · 最大间隔与支持向量机 · 决策树、划分准则与剪枝 · 随机森林与袋装集成 · AdaBoost、梯度提升与残差拟合约 105 分钟
  27. 27难度 4/5无监督学习与概率图模型综合复习联合聚类、降维、图因子化、精确推断、EM 与变分方法，区分优化局部性、统计可识别性和近似误差。先修：聚类目标、K 均值与密度方法 · 主成分分析与流形降维 · 贝叶斯网络与 Markov 随机场 · 变量消元、消息传递与精确推断 · EM 算法与变分推断约 105 分钟
  28. 28难度 5/5策略梯度与 actor–critic直接对参数化策略的期望回报求梯度，并用基线、优势函数和价值评论器降低方差。先修：Markov 决策过程 · 梯度 · 期望、方差与协方差约 120 分钟
  29. 29难度 5/5基于模型与离线强化学习利用学习的环境模型或固定行为数据改进策略，同时控制模型偏差和分布外动作估计。先修：Q-learning · 策略梯度与 actor–critic · 分布偏移、置信区间与不确定性约 120 分钟
  30. 30难度 5/5强化学习综合复习统一检查价值方法、策略方法、模型方法与离线方法的目标、数据分布、稳定性和评价证据。先修：Markov 决策过程 · 动态规划与时序差分 · Q-learning · 策略梯度与 actor–critic · 基于模型与离线强化学习约 120 分钟