A05 / advanced
深度学习优化与工程方法
深度学习优化与工程方法围绕第一编 深度优化、第二编 训练稳定性、第三编 训练工程与综合复习建立连续章节顺序。
- 结构
- 3 Parts · 6 章
- 适合读者
- 适合完成相关本科基础课程、需要进入高级理论与计算方法的读者。
- 正文状态
- 0 章已有正文，6 章已规划
BEFORE READING
先修与记号
本册对象
研究随机优化、归一化、正则化、调参与可靠训练工程。
符号约定
- 本册在首次使用时定义深度学习优化与工程方法专用符号，并区分标量、向量、算子与单位。
- 同一符号出现多种约定时明确命名空间、假设和适用章节。
COMPLETE CONTENTS
完整目录
第一编 深度优化
第一编 深度优化组织随机梯度、动量与自适应方法、学习率调度与二阶近似，形成连续的学习单元。
第二编 训练稳定性
第二编 训练稳定性组织归一化方法与尺度控制、正则化、数据增强与早停，形成连续的学习单元。
第三编 训练工程与综合复习
第三编 训练工程与综合复习组织混合精度、分布式训练与检查点、调试、复现实验与工程方法综合复习，形成连续的学习单元。
综合练习计划
- 每章安排定义辨析、推导计算和结果核验练习。
- 本册末章安排跨 Part 综合题，并保留可复算的解题检查点。
参考资料计划
- TODO：为《深度学习优化与工程方法》逐项核验权威教材、课程页面或原始论文后登记资源 ID。
修订状态
课程 Schema v1。目录与章节位置已登记；参考资料需逐项核验后进入正式正文。