比较 VAE、GAN、Flow 和扩散模型的目标与采样
variational-autoencoders · generative-adversarial-networks · normalizing-flows · diffusion-models
LEARNING PATH / GENERATIVE-MODELS-FOUNDATIONS
生成模型入门
比较潜变量、重建、对抗、流、能量、得分和扩散等生成建模路线。
约 28 小时11 个概念节点具有概率和神经网络基础，希望理解现代生成模型差异的学习者。
本地学习进度0/11 节完成
进入路径前
阶段目标
- 01区分显式密度、隐式生成和潜变量模型的训练目标。
- 02解释 VAE、GAN 与归一化流各自的可计算量和限制。
- 03从得分函数和 Markov 过程理解扩散模型。
学习序列
- 01machine-learning / 难度 4大纲
生成模型
学习数据联合分布或生成过程，使模型能够采样、补全、重建并估计不确定性。
未开始 - 02machine-learning / 难度 4大纲
潜变量模型
引入不可直接观测的随机变量解释数据结构，并通过边缘化连接隐变量与观测。
未开始 - 03machine-learning / 难度 3大纲
自编码器
用编码器压缩输入并由解码器重建，学习受瓶颈或正则约束的表示。
未开始 - 04machine-learning / 难度 5大纲
变分自编码器
用可学习近似后验和重参数化梯度优化证据下界，形成连续潜在空间。
未开始 - 05machine-learning / 难度 2大纲
二分类判别
将输入映射为两个类别的概率或得分，并用决策阈值和混淆矩阵评价结果。
未开始 - 06machine-learning / 难度 5大纲
生成对抗网络
让生成器与判别器进行极小极大博弈，以隐式方式逼近数据分布。
未开始 - 07machine-learning / 难度 4大纲
自回归生成模型
按变量顺序分解联合分布，通过逐步条件预测实现精确似然与序列采样。
未开始 - 08machine-learning / 难度 5大纲
归一化流
用可逆变换和 Jacobian 行列式把简单密度映射为复杂密度，同时保留精确似然。
未开始 - 09machine-learning / 难度 5大纲
能量模型
以未归一化能量函数为数据赋分，并通过采样或对比方法学习低能量区域。
未开始 - 10machine-learning / 难度 5大纲
得分匹配
学习对数密度关于数据的梯度，避免显式计算归一化常数并连接去噪目标。
未开始 - 11machine-learning / 难度 5大纲
扩散模型
学习逐步去除噪声的逆过程，从简单噪声分布生成高维数据样本。
未开始
CHECKPOINTS
阶段检查
- 完成 变分自编码器
说明潜变量边缘似然为何困难，以及 VAE 的证据下界如何处理它。
- 完成 扩散模型
把前向加噪、得分学习和反向采样三个阶段连接为完整生成过程。
PATH EXERCISES
综合练习
从一维分布推导得分并设计去噪步骤
score-matching · diffusion-models