安全评测、系统边界与治理综合复习

视觉质检的分流系统

工厂相机拍摄零件表面，模型输出缺陷类别、置信度和可视化解释；系统结合工单与设备信息，建议“继续生产、人工复检或暂停并报修”。高影响动作由经授权的质量人员确认，硬件联锁和法定检查不由模型关闭。

边界图至少包含：相机、照明和采集软件；预处理与模型版本；训练、校准和评价数据；操作员界面；工单工具；人工复检；设备控制；日志和监控；供应商更新。用户有操作员、质量工程师和维护人员，受影响者还包括一线工人和产品使用者。只画神经网络会漏掉主要风险。

系统目标也要分层：模型识别图像模式，界面表达不确定性，工作流按权限分流，组织决定质量和安全责任。模型准确率不能代表整个工作流安全，人工在环也不能在界面超载、培训不足或责任含糊时自动兜底。

使用情境与系统风险

同一缺陷分类器可用于离线研究、操作员参考或自动停机，后果和控制完全不同。先写决策对象、作用速度、可逆性、暴露人数、故障严重性、人工反应时间、现有保护和适用法规。缺少情境时，“高风险”或“安全”都没有可审查含义。

数据代表性也由情境定义。相机型号、镜头污染、材料批次、照明、班次和新缺陷会改变输入分布。训练集没有某种裂纹，不表示它在现实不可能；系统应把未知和低质量图像导向复检，而不是强制归入已知类。

风险登记与控制措施

每个风险项记录：唯一 ID、使用情境、危害事件、触发原因、暴露路径、受影响者、后果、现有控制、检测方法、证据、责任人、残余风险、接受或升级人、复查日期和变更触发。概率和严重度若没有数据支持，应标为定性或区间，不能用任意乘法制造精确数字。

例 1：漏检风险登记

风险 R1 是“新相机下裂纹被判为无缺陷并进入继续生产队列”。原因包括色彩响应改变、校准失效和 OOD 阈值未触发；后果是缺陷件未复检。现有控制为输入质量检查、相机版本允许表、低置信或 OOD 转人工、定期抽检和独立硬件检测。

证据包括按相机分组的留出评价、校准曲线、OOD 工作点、抽检记录和故障注入。残余风险是已知检测器仍可能漏掉与训练分布相似的新缺陷。责任人分别是数据负责人、模型负责人、质量负责人和发布批准人；任一相机或阈值变化触发重新评价。登记不是写下风险后自动接受它。

风险登记需要版本和状态：开放、缓解中、接受、转移或关闭。关闭必须附证据和批准，不能因测试一次未复现就删除。多个控制可能依赖同一相机或日志，不能假装完全独立。

局部归因与规范评价

显著性、扰动和 SHAP 类方法可指出当前输出对哪些输入区域或特征敏感。它们依赖输出标量、基线和缺失特征分布；相关背景也可能获得高归因。忠实归因只说明模型怎样使用输入，不说明该使用合理、因果或公平。

例 2：从热图线索到受控证据

模型把裂纹判为高风险，热图集中在零件角落的批次标贴而非裂纹。第一步用遮挡和匹配背景替换标贴，若 logit 明显下降，说明输出依赖该区域；第二步保持裂纹不变、随机交换标贴，检查预测是否随标贴变化；第三步按批次重新拆分评价。

若内部探针能读出批次，也只说明信息存在。还需消融或替换候选通路，观察裂纹判断是否按预言改变，并在不同批次复现。即便确定模型使用标贴，是否禁止该特征仍由任务和风险决定，归因图不能作治理裁决。

机制证据应写成可证伪主张：“组件 C 在分布 D 的行为 B 中必要或部分充分”。激活相关、线性探针、消融、patch 和组合干预强度不同。对单个神经元的机制解释受多义特征、冗余和基底变化限制。内部解释不能证明没有其他危险路径。

校准与决策阈值

模型置信度应在独立校准集上与经验正确率比较。可靠性图、NLL、Brier 和分箱 ECE 各有语义与有限样本局限。温度缩放可调整 logits 的尺度，通常不改变 argmax；它修正特定分布上的概率失配，不提高基础可分性，也不保证分布外仍校准。

例 3：一个构造分箱的校准差

仅为演示算式，取十个置信度都约为 $0.8$ 的预测，其中六个正确。该箱平均置信度 $0.8$、经验准确率 $0.6$，绝对校准差为 $0.2$。若这个箱占全部样本，分箱 ECE 也是 $0.2$。

这不表示每个样本都有可观察的二成错误概率，也不能说明其他相机或缺陷类别的校准。真实评价应按相机、类别和置信区间报告样本数，并用独立数据选温度和阈值。

选择性预测把低置信或高风险样本转人工。报告覆盖率—风险曲线、各群体拒绝率和人工负载。阈值降低可能减少自动漏检，却提高复检量；产线容量是系统约束。总体校准良好也可能在罕见严重缺陷上失效。

分布外检测的适用范围

OOD 分数必须相对于已定义的分布外集合和工作点。新相机、严重模糊、未知材料和新缺陷是不同偏移，单一分数可能只检测部分。AUROC 是阈值无关排序摘要，部署还要在具体允许误报或漏报下报告检出率。

OOD 检测与错误检测不同：分布内也会错，分布外也可能偶然对。密度高不代表任务相关，置信低不等于 OOD。系统把图像质量、相机版本、表示分数和任务置信组合时，要在冻结验证集设规则，并监控各路触发。

未知样本进入人工队列后，还需标注、归因、模型更新和回滚流程。只拒绝而不学习，会让长期人工负载增长；自动把人工标签回流训练又可能引入污染，需数据审核和版本隔离。

威胁模型与鲁棒性结论

攻击者可能上传数字图像、在零件上贴标记、污染相机、修改工单或窃取查询接口。威胁模型写清目标、知识、查询次数、可修改对象、物理可实现性、时机和成功标准。随机噪声准确率不能替代自适应攻击。

快速梯度符号等方法展示特定范数集合下的一阶攻击思路，但像素范数不等于真实物理变化。防御评价应使用知道防御机制的自适应攻击、多起点、攻击并集和物理测试，并检查梯度遮蔽。某个攻击失败只说明在给定预算和实现下未找到，不证明不存在攻击。

例 4：数字攻击与物理攻击分开登记

数字场景中，攻击者能上传图像并获得类别分数，目标是让裂纹图进入无缺陷队列，预算为固定查询次数和像素约束。物理场景中，攻击者只能在零件非关键区域贴小标签，相机和照明固定。两者允许集合和可重复性不同。

数字防御通过白盒自适应攻击，不代表贴纸场景可靠；物理贴纸测试通过，也不代表接口无法被像素攻击。风险登记分别记录访问控制、文件验证、相机链路保护、图像质量、异常检测和人工抽检，不能合并成一个“鲁棒”复选框。

威胁还包括数据投毒、模型供应链、日志篡改和拒绝服务。安全测试需覆盖权限和系统依赖，而不只攻击分类器。红队发现是样本化证据，未发现不是无风险证明。

对齐目标与代理偏差

若操作员助手的奖励偏好“减少队列”，模型可能过度建议继续生产；若偏好“谨慎”，可能把所有样本送复检。偏好拟合代表反馈者和候选分布，不能替代质量标准。奖励模型分数、拒绝率和满意度都是代理。

按缺陷严重度、证据、用户角色和工具权限写行为规格。高影响动作由执行层审批；语言模型不能因高奖励越权停机或放行。监测代理分数与真实质量、人工覆盖和申诉是否分离，防止过优化。

反馈者差异需要治理：操作员关注吞吐，质量人员关注漏检，管理者关注停线成本，受影响者关注安全。不能只由最易采集反馈的一方定义目标。冲突要进入风险决策和责任分配。

证据等级与验证要求

可在项目内定义证据梯度，但要说明它不是通用认证：

• E0：未经验证的设计主张或单样本观察；
• E1：可复现单元、合成或组件测试；
• E2：冻结协议下的受控留出与故障注入；
• E3：独立团队复核或受控真实环境试验；
• E4：限定版本和场景下的运行监测及事件记录。

不同证据等级反映了不同的验证条件。E3 真实试验可能样本少，E2 大规模测试可能覆盖更广；不同证据互补。每项安全主张都要关联测试、数据、版本、结果、限制、所有者和有效期。

例 5：同一主张的证据升级

主张是“新相机下低质量图像会转人工”。E1 用合成模糊验证质量阈值代码；E2 在冻结的新相机留出集上测触发与漏检；E3 由独立质量团队在受控产线试运行；E4 监控上线后的触发、人工确认和近失事件。

若 E2 只含常见材料，证据范围就排除罕见材料；E4 运行一周无事故也不能证明长期安全。发布决策应引用这些范围和缺口。

归因、机制、校准、OOD、攻击、对齐和运行监测分别支撑不同主张。把它们平均成单一安全分数会丢失不可替代的缺口。关键危害可以设置必须证据和硬门槛。

治理责任与评测

组织需明确系统负责人、数据负责人、模型负责人、安全与质量负责人、运营、事件响应、供应商管理和发布批准者。执行测试的人不应单独批准自己的高风险例外。操作员要有培训、申诉和无惩罚上报渠道。

NIST AI RMF 1.0 提供治理、情境映射、测量和管理的自愿风险管理框架。它可帮助组织提问和分配活动，不是产品安全认证，也不会指定某个指标阈值。声称“采用框架所以安全”把过程参考误写成结果。

技术评测不能决定可接受风险、法律义务、资源投入和受影响者补救。反过来，治理会议也不能替代可复现测试。两者通过风险登记、证据、责任和门槛连接。

残余风险与授权

控制后仍可能漏检未知缺陷、校准漂移、遭遇未建模攻击或发生人工错误。残余风险记录其范围、不确定性、受影响者、监测和应急措施。不能写“低风险”而无证据，也不能把没有观察到的事件概率设为零。

接受、缓解、转移或停止使用是治理决策。高后果且证据不足时可保持人工主决策、缩小使用范围或不上线。接受记录包含批准人、理由、有效期和复审触发；版本、相机、材料或工作流变化会使旧接受失效。

成本收益不能让严重安全事件被平均吞掉。分别报告典型收益、最坏情境、分布不确定性和不可货币化影响。受影响者不等于只有采购模型的组织。

持续监测与事件响应

上线监测输入质量、相机和材料分布、类别与置信、校准代理、OOD、拒绝与复检、人工覆盖、缺陷漏检、近失、工具权限、延迟和攻击信号。阈值要对应动作：告警、自动转人工、回退模型、暂停使用或启动事件流程。

反馈标签有延迟和选择偏差：只有被复检的样本更容易获得真值。随机抽检和延迟结果回填用于估计自动放行区域。监控面板没有责任人、响应时限和回退权限，只是可视化。

事件响应保存输入、模型与数据版本、决策、解释、权限、人工动作和后果；先控制影响，再调查根因。修复后重跑相关评价和回归测试，并通知需要知情的利益相关者。近失和申诉也应进入改进，不只统计已造成损害的事故。

模型重训、阈值、校准器、预处理、相机、供应商库和界面都属于变更。按变更影响决定重新校准、攻击评估、操作培训和发布审批，不能只对权重文件做版本管理。

综合发布决策

发布包包括系统边界和使用情境、风险登记、数据与拆分、组件和端到端测试、威胁模型、对齐与权限、证据矩阵、未解决缺口、残余风险、责任批准、回滚和监测计划。关键门槛失败时，不以其他平均分抵消。

贯穿案例中，归因发现标贴捷径会触发数据和模型修复；校准与 OOD 决定转人工工作点；攻击评价限定输入威胁；对齐检查操作员助手是否奖励投机；治理决定谁可放行、何时停机和如何补救。它们共同支持一个有限情境决策，而非一份章节目录。

任何技术评测只证明给定版本、数据、威胁和协议下的观察；任何治理框架只组织活动。安全结论必须保留适用范围、证据缺口和残余风险。

练习

练习 1：系统边界标记完成

所属知识

情境

难度

4/5

为工业视觉分流系统画出文字版边界图。

查看提示

列数据、模型、工具、用户、受影响者、动作、人工和外部保护。

查看解答

边界包含采集、预处理、模型、界面、工具、人工复检、硬件联锁、日志和供应商；说明用途、权限、可逆性和责任，模型准确率不能代表系统安全。

练习 2：证据主张标记完成

所属知识

解释

难度

5/5

说明归因热图为何不能作为安全认证。

查看提示

把归因相关、探针可解码、干预必要性和系统正当性分开。

查看解答

归因定位输入敏感，探针只证可读，受控消融或patch支持内部使用；都不能单独决定特征是否正当或系统是否可发布，需风险和治理证据。

练习 3：校准拒绝标记完成

所属知识

不确定性

难度

4/5

设计一个置信与 OOD 联合分流协议。

查看提示

用独立校准集选阈值，报告覆盖、风险、群体拒绝和人工负载。

查看解答

先校准分布内概率，再为具体成本选择转人工阈值；分别测新相机和未知缺陷OOD，监控人工容量。总体ECE低不保证严重类或OOD可靠。

练习 4：威胁模型标记完成

所属知识

攻击

难度

5/5

比较一个数字和一个物理攻击情境。

查看提示

明确目标、知识、访问、修改对象、预算、物理性和成功标准。

查看解答

数字上传与物理贴纸分别建模，使用自适应攻击和真实采集测试；列访问控制、链路保护、异常检测和人工抽检，单一攻击失败不证明无攻击。

练习 5：风险与责任标记完成

所属知识

治理

难度

5/5

写出一条完整风险登记并分配责任。

查看提示

登记危害、原因、后果、控制、证据、所有者、残余与复审触发。

查看解答

技术团队提供测试，质量和安全负责人判断控制，授权者接受残余风险；框架组织活动而非认证。版本或情境变化使旧证据和接受需要复审。

练习 6：持续监测标记完成

所属知识

生命周期

难度

5/5

设计一个技术评测之后仍持续工作的监测计划。

查看提示

每个指标绑定告警、转人工、回退或暂停，并保存事件证据。

查看解答

监控输入与相机漂移、校准、OOD、拒绝、漏检、近失、覆盖、权限和延迟；定义责任人与响应时限，延迟标签用抽检补充，变更后重跑门禁。

关系与资源

• 特征归因与反事实 提供局部敏感、基线与忠实性边界。
• 机制可解释性 提供探针、内部干预和电路证据层级。
• 校准与分布外检测 提供概率、拒绝和风险—覆盖协议。
• 鲁棒性与对抗攻击 提供威胁模型和自适应攻击边界。
• 对齐目标与奖励建模 提供反馈代理、过优化和拒答权衡。

Artificial Intelligence Risk Management Framework (AI RMF 1.0)

Elham Tabassi · 2023 · National Institute of Standards and Technology

打开官方来源

A Unified Approach to Interpreting Model Predictions

Scott M. Lundberg, Su-In Lee · 2017 · Advances in Neural Information Processing Systems 30

打开官方来源

On Calibration of Modern Neural Networks

Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger · 2017 · Proceedings of the 34th International Conference on Machine Learning

打开官方来源

Explaining and Harnessing Adversarial Examples

Ian J. Goodfellow, Jonathon Shlens, Christian Szegedy · 2015 · International Conference on Learning Representations

打开官方来源

NIST AI RMF 1.0 用于核对治理、测量、管理和持续监测框架；SHAP 论文用于核对特征归因的能力与非因果边界；校准论文用于核对可靠性图和温度缩放；对抗样本论文用于核对 FGSM 与局部扰动风险。四项来源分别支持治理、解释、概率可靠性和鲁棒性检查，