A13 / research

可解释性、不确定性、对齐与安全

可解释性、不确定性、对齐与安全围绕第一编 解释与归因、第二编 不确定性与稳健性、第三编 对齐与安全综合复习建立连续章节顺序。

结构
3 Parts · 6
适合读者
适合准备阅读研究文献并需要统一记号、方法和边界条件的读者。
正文状态
0 章已有正文,6 章已规划
开始本册

BEFORE READING

先修与记号

本册对象

研究解释方法、校准、分布外风险、对齐目标和安全评估。

先修教材

符号约定

  • 本册在首次使用时定义可解释性、不确定性、对齐与安全专用符号,并区分标量、向量、算子与单位。
  • 同一符号出现多种约定时明确命名空间、假设和适用章节。

COMPLETE CONTENTS

完整目录

PART 01

第一编 解释与归因

第一编 解释与归因组织特征归因、显著性与反事实、表示探测与机制可解释性,形成连续的学习单元。

  1. 01

    特征归因、显著性与反事实

    本章研究特征归因、显著性与反事实。内容依次处理梯度显著性、积分梯度与基线选择、扰动归因、SHAP 值与特征交互、反事实搜索、可行动约束与解释稳定性。

    计划章节
  2. 02

    表示探测与机制可解释性

    本章研究表示探测与机制可解释性。内容依次处理激活探针、线性可分信息与因果干预、注意力头、神经回路与特征可视化、多义特征、探针偏差与机制验证。

    计划章节
PART 02

第二编 不确定性与稳健性

第二编 不确定性与稳健性组织校准、分布外检测与选择性预测、鲁棒性、对抗攻击与防御评估,形成连续的学习单元。

  1. 03

    校准、分布外检测与选择性预测

    本章研究校准、分布外检测与选择性预测。内容依次处理可靠性图、ECE 与适当评分规则、能量分数、密度比与分布外检测、选择性预测、拒绝率与风险覆盖曲线。

    计划章节
  2. 04

    鲁棒性、对抗攻击与防御评估

    本章研究鲁棒性、对抗攻击与防御评估。内容依次处理威胁模型、扰动集合与攻击目标、FGSM、PGD 与自适应攻击评估、对抗训练、认证鲁棒性与梯度遮蔽。

    计划章节
PART 03

第三编 对齐与安全综合复习

第三编 对齐与安全综合复习组织对齐目标、反馈与奖励建模、安全评测、系统边界与治理综合复习,形成连续的学习单元。

  1. 05

    对齐目标、反馈与奖励建模

    本章研究对齐目标、反馈与奖励建模。内容依次处理人类反馈、偏好比较与奖励模型、RLHF、DPO 与代理目标优化、奖励黑客、规范不完备与目标泛化。

    计划章节
  2. 06

    安全评测、系统边界与治理综合复习

    本章研究安全评测、系统边界与治理综合复习。内容依次处理危险能力、滥用场景与分层评测、系统提示、工具权限与数据泄露边界、红队证据、发布门槛与事件响应。

    计划章节

综合练习计划

  • 每章安排定义辨析、推导计算和结果核验练习。
  • 本册末章安排跨 Part 综合题,并保留可复算的解题检查点。

参考资料计划

  • TODO:为《可解释性、不确定性、对齐与安全》逐项核验权威教材、课程页面或原始论文后登记资源 ID。

修订状态

课程 Schema v1。目录与章节位置已登记;参考资料需逐项核验后进入正式正文。

相关教材