A08 / advanced

表示学习与自监督学习

表示学习与自监督学习围绕第一编 表示与度量、第二编 自监督目标、第三编 预训练与综合复习建立连续章节顺序。

结构
3 Parts · 6
适合读者
适合完成相关本科基础课程、需要进入高级理论与计算方法的读者。
正文状态
0 章已有正文,6 章已规划
开始本册

BEFORE READING

先修与记号

本册对象

研究表征空间、对比学习、掩码建模和跨模态预训练。

先修教材

符号约定

  • 本册在首次使用时定义表示学习与自监督学习专用符号,并区分标量、向量、算子与单位。
  • 同一符号出现多种约定时明确命名空间、假设和适用章节。

COMPLETE CONTENTS

完整目录

PART 01

第一编 表示与度量

第一编 表示与度量组织表示学习目标、相似度与不变性、度量学习、孪生网络与三元组损失,形成连续的学习单元。

  1. 01

    表示学习目标、相似度与不变性

    本章研究表示学习目标、相似度与不变性。内容依次处理任务相关信息、充分表征与压缩、相似度函数、归一化嵌入与温度参数、数据增强诱导的不变性和等变性。

    计划章节
  2. 02

    度量学习、孪生网络与三元组损失

    本章研究度量学习、孪生网络与三元组损失。内容依次处理成对损失、正负样本与距离边界、孪生网络共享参数与匹配评分、三元组挖掘、类内坍缩与尺度退化。

    计划章节
PART 02

第二编 自监督目标

第二编 自监督目标组织对比学习、负样本与信息瓶颈、掩码预测与上下文建模,形成连续的学习单元。

  1. 03

    对比学习、负样本与信息瓶颈

    本章研究对比学习、负样本与信息瓶颈。内容依次处理InfoNCE 目标与互信息下界、负样本队列、批量大小与假负例、编码器投影头、温度和表示坍塌。

    计划章节
  2. 04

    掩码预测与上下文建模

    本章研究掩码预测与上下文建模。内容依次处理掩码策略、预测目标与上下文范围、离散 token 重建与连续特征回归、掩码比例、预训练捷径与下游迁移。

    计划章节
PART 03

第三编 预训练与综合复习

第三编 预训练与综合复习组织跨模态对齐与预训练迁移、表示质量、坍塌与自监督学习综合复习,形成连续的学习单元。

  1. 05

    跨模态对齐与预训练迁移

    本章研究跨模态对齐与预训练迁移。内容依次处理图文编码器、对比对齐与共享嵌入、跨模态注意力、匹配和生成目标、冻结、微调与零样本迁移评估。

    计划章节
  2. 06

    表示质量、坍塌与自监督学习综合复习

    本章研究表示质量、坍塌与自监督学习综合复习。内容依次处理线性探测、最近邻和下游微调比较、均匀性、对齐度与各向异性诊断、语义捷径、模态缺失与分布迁移。

    计划章节

综合练习计划

  • 每章安排定义辨析、推导计算和结果核验练习。
  • 本册末章安排跨 Part 综合题,并保留可复算的解题检查点。

参考资料计划

  • TODO:为《表示学习与自监督学习》逐项核验权威教材、课程页面或原始论文后登记资源 ID。

修订状态

课程 Schema v1。目录与章节位置已登记;参考资料需逐项核验后进入正式正文。

相关教材