A02 / undergraduate

核方法、树模型与集成学习

核方法、树模型与集成学习围绕第一编 核方法、第二编 树模型、第三编 Boosting 与综合复习建立连续章节顺序。

结构
3 编 · 6
适合读者
适合已具备基础代数与函数知识、希望完成本科层次系统学习的读者。
开始本册

BEFORE READING

先修与记号

本册对象

研究核技巧、支持向量机、决策树、随机森林和 boosting。

先修教材

符号约定

  • 本册在首次使用时定义核方法、树模型与集成学习专用符号,并区分标量、向量、算子与单位。
  • 同一符号出现多种约定时明确命名空间、假设和适用章节。

CONTENTS

完整目录

PART 01

第一编 核方法

第一编 核方法组织特征映射、正定核与再生核空间、最大间隔与支持向量机,形成连续的学习单元。

  1. 01

    特征映射、正定核与再生核空间

    特征映射、正定核与再生核空间从内积表示建立正定核与 Gram 矩阵,解释核技巧、再生性质和核选择的适用边界。

    阅读本章
  2. 02

    最大间隔与支持向量机

    最大间隔与支持向量机:由几何间隔和软间隔优化推导分类器,对偶化后使用核函数,并分析正则参数、尺度与类别重叠。

    阅读本章
PART 02

第二编 树模型

第二编 树模型组织决策树、划分准则与剪枝、随机森林与袋装集成,形成连续的学习单元。

  1. 03

    决策树、划分准则与剪枝

    决策树、划分准则与剪枝通过递归划分和不纯度下降构建分类回归树,并分析停止、剪枝、缺失值处理和树模型的不稳定性。

    阅读本章
  2. 04

    随机森林与袋装集成

    随机森林与袋装集成:用 bootstrap 样本和随机特征去相关多棵树,通过袋外估计评估泛化并解释特征重要度的偏差。

    阅读本章
PART 03

第三编 Boosting 与综合复习

第三编 Boosting 与综合复习组织AdaBoost、梯度提升与残差拟合、核方法、树模型与集成学习综合复习,形成连续的学习单元。

  1. 05

    AdaBoost、梯度提升与残差拟合

    AdaBoost、梯度提升与残差拟合把弱学习器逐步组合为加法模型,比较样本权重更新与函数空间梯度下降,并分析学习率、深度与过拟合。

    阅读本章
  2. 06

    核方法、树模型与集成学习综合复习

    核方法、树模型与集成学习综合复习比较核方法、单树、袋装与提升在归纳偏置、复杂度、校准、解释和计算成本上的差异。

    阅读本章

综合练习

  • 每章安排定义辨析、推导计算和结果核验练习。
  • 本册末章安排跨 Part 综合题,并保留可复算的解题检查点。

相关教材