A08 · 第 3 章 · 课程规划页
对比学习、负样本与信息瓶颈
本章研究对比学习、负样本与信息瓶颈。内容依次处理InfoNCE 目标与互信息下界、负样本队列、批量大小与假负例、编码器投影头、温度和表示坍塌。
- 所在 Part
- 第二编 自监督目标
- 预计学习
- 40 分钟
- 建设状态
- 已规划，尚无正式正文
计划实验
本章未登记独立交互实验；定义、公式和例题仍按下列提纲规划。
LEARNING OBJECTIVES
完成本章后应能
- 01准确说明InfoNCE 目标与互信息下界。
- 02完成负样本队列、批量大小与假负例所需的推导、证明或算法。
- 03使用计算、例题或反例检验编码器投影头、温度和表示坍塌。
PLANNED SECTIONS
计划章节结构
- 01
InfoNCE 目标与互信息下界
界定InfoNCE 目标与互信息下界，明确使用的条件、主要结论与可复核步骤。
- 02
负样本队列、批量大小与假负例
推导负样本队列、批量大小与假负例，明确使用的条件、主要结论与可复核步骤。
- 03
编码器投影头、温度和表示坍塌
检验编码器投影头、温度和表示坍塌，明确使用的条件、主要结论与可复核步骤。
计划定义
InfoNCE 目标与互信息下界：对象、记号与前提
围绕InfoNCE 目标与互信息下界列出主要对象、符号、前提与定义边界。
计划公式
负样本队列、批量大小与假负例：关系、判据与可复核步骤
把负样本队列、批量大小与假负例整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
计划例题
编码器投影头、温度和表示坍塌：案例、反例与核验
围绕编码器投影头、温度和表示坍塌给出明确输入、前提或数据，逐步分析并用反例、误差、守恒量或边界条件复核。
计划练习
对比学习、负样本与信息瓶颈：定义、关系与边界综合练习
联结InfoNCE 目标与互信息下界、负样本队列、批量大小与假负例与编码器投影头、温度和表示坍塌，分别检验定义辨析、主要步骤和适用边界。
本章概念落点
以下位置是术语、搜索和知识图谱引用本计划章节时使用的稳定链接。
- 对比表征学习通过拉近匹配样本表示并推远不匹配样本，学习具有语义结构的嵌入空间。
- 自监督学习从数据本身构造预测或对比任务，学习可迁移表示而不依赖人工标签。
关键词
对比学习、负样本、信息瓶颈、第二编 自监督目标、表示学习与自监督学习