M11 / undergraduate

最优化与信息论

最优化与信息论围绕第一编 优化问题与凸性、第二编 优化算法、第三编 信息度量与综合复习建立连续章节顺序。

结构
3 Parts · 6
适合读者
适合已具备基础代数与函数知识、希望完成本科层次系统学习的读者。
正文状态
1 章已有正文,5 章已规划
开始本册

BEFORE READING

先修与记号

本册对象

统一凸优化、一阶方法、对偶性、熵和信息度量。

先修教材

符号约定

  • 本册在首次使用时定义最优化与信息论专用符号,并区分标量、向量、算子与单位。
  • 同一符号出现多种约定时明确命名空间、假设和适用章节。

COMPLETE CONTENTS

完整目录

PART 01

第一编 优化问题与凸性

第一编 优化问题与凸性组织优化模型、可行域与最优性、凸集、凸函数与次梯度,形成连续的学习单元。

  1. 01

    优化模型、可行域与最优性

    本章研究优化模型、可行域与最优性。内容依次处理决策变量、目标函数与可行域、局部最优、全局最优与一阶条件、建模中的尺度、约束和松弛变量。

    计划章节
  2. 02

    凸集、凸函数与次梯度

    本章研究凸集、凸函数与次梯度。内容依次处理凸集、凸函数与上图几何、次梯度、分离超平面与支撑函数、Jensen 不等式和凸组合证书。

    计划章节
PART 02

第二编 优化算法

第二编 优化算法组织一阶优化与梯度下降、约束优化、KKT 条件与对偶性,形成连续的学习单元。

  1. 03

    一阶优化与梯度下降

    本章研究一阶优化与梯度下降。内容依次处理最速下降方向与步长、Lipschitz 梯度下的收敛率、动量、自适应方法与失效案例。

    已有正文
  2. 04

    约束优化、KKT 条件与对偶性

    本章研究约束优化、KKT 条件与对偶性。内容依次处理拉格朗日乘子与 KKT 条件、拉格朗日对偶、弱对偶与强对偶、约束资格、互补松弛与灵敏度。

    计划章节
PART 03

第三编 信息度量与综合复习

第三编 信息度量与综合复习组织熵、互信息与散度、最优化与信息论综合复习,形成连续的学习单元。

  1. 05

    熵、互信息与散度

    本章研究熵、互信息与散度。内容依次处理熵、交叉熵与编码长度、KL 散度、互信息与数据处理不等式、最大熵原理和指数族。

    计划章节
  2. 06

    最优化与信息论综合复习

    本章研究最优化与信息论综合复习。内容依次处理凸性证书与最优性条件的配合、一阶算法的收敛假设和复杂度、对偶变量、熵和信息约束的联结。

    计划章节

综合练习计划

  • 每章安排定义辨析、推导计算和结果核验练习。
  • 本册末章安排跨 Part 综合题,并保留可复算的解题检查点。

参考资料计划

  • TODO:为《最优化与信息论》逐项核验权威教材、课程页面或原始论文后登记资源 ID。

修订状态

课程 Schema v1。目录与章节位置已登记;参考资料需逐项核验后进入正式正文。

相关教材