M11 · 第 5 章 · 课程规划页
熵、互信息与散度
本章研究熵、互信息与散度。内容依次处理熵、交叉熵与编码长度、KL 散度、互信息与数据处理不等式、最大熵原理和指数族。
- 所在 Part
- 第三编 信息度量与综合复习
- 预计学习
- 40 分钟
- 建设状态
- 已规划，尚无正式正文
计划实验
本章未登记独立交互实验；定义、公式和例题仍按下列提纲规划。
LEARNING OBJECTIVES
完成本章后应能
- 01准确说明熵、交叉熵与编码长度。
- 02完成KL 散度、互信息与数据处理不等式所需的推导、证明或算法。
- 03使用计算、例题或反例检验最大熵原理和指数族。
PLANNED SECTIONS
计划章节结构
- 01
熵、交叉熵与编码长度
界定熵、交叉熵与编码长度，明确使用的条件、主要结论与可复核步骤。
- 02
KL 散度、互信息与数据处理不等式
推导KL 散度、互信息与数据处理不等式，明确使用的条件、主要结论与可复核步骤。
- 03
最大熵原理和指数族
检验最大熵原理和指数族，明确使用的条件、主要结论与可复核步骤。
计划定义
熵、交叉熵与编码长度：对象、记号与前提
围绕熵、交叉熵与编码长度列出主要对象、符号、前提与定义边界。
计划公式
KL 散度、互信息与数据处理不等式：关系、判据与可复核步骤
把KL 散度、互信息与数据处理不等式整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
计划例题
最大熵原理和指数族：案例、反例与核验
围绕最大熵原理和指数族给出明确输入、前提或数据，逐步分析并用反例、误差、守恒量或边界条件复核。
计划练习
熵、互信息与散度：定义、关系与边界综合练习
联结熵、交叉熵与编码长度、KL 散度、互信息与数据处理不等式与最大熵原理和指数族，分别检验定义辨析、主要步骤和适用边界。
本章概念落点
以下位置是术语、搜索和知识图谱引用本计划章节时使用的稳定链接。
- 熵与互信息量化随机变量的不确定性以及两个变量共享的信息，连接编码、推断和学习。
关键词
熵、互信息、散度、第三编 信息度量与综合复习、最优化与信息论