One Forth

CONCEPT OUTLINE / entropy-mutual-information

熵与互信息

量化随机变量的不确定性以及两个变量共享的信息，连接编码、推断和学习。

约 105 分钟正文计划中难度 4/5

章节大纲

  1. 01

    熵与互信息要解决的核心问题与适用边界

  2. 02

    熵与互信息的基本对象、符号和严格定义

  3. 03

    从「联合分布与条件分布」推导「熵与互信息」所需的关键步骤

  4. 04

    熵与互信息的典型计算、反例与常见误区

知识关系

motivatesdecision-trees