A06 · 第 6 章 · 第三编 视觉表示与综合复习
几何、数据偏差与计算机视觉综合复习
以任务输出合同为起点，贯通卷积、视觉架构、检测、分割和视觉 Transformer，系统选择标签、损失、分辨率、感受野、计算预算与指标，并用几何变换、分布偏移和失败分组建立可审计的视觉实验方案。
报告页面错误本章目标
- 先写任务输出和标注单位，再选择分类、检测、语义或实例分割方案。
- 同步变换图像、框和掩码，并通过可逆坐标记录检查几何增强。
- 把标签、损失归一化、分辨率、感受野和后处理连接成完整信息路径。
- 同时核算参数、激活、注意力、候选、掩码与端到端延迟，不以单一计算量代替部署测量。
- 按任务单位选择指标，并通过分组、反事实和来源隔离诊断分布偏移与捷径。
本页目录
先定义输出，再讨论模型
视觉系统的第一问不是“用卷积还是 Transformer”，而是每个输入应输出什么。图像分类为整幅图给出一个或多个类别及置信度；目标检测输出可变长度的实例集合，每项含类别、分数和边界框；语义分割为每个像素给类别，但不区分同类个体；实例分割既区分对象又给出各自掩码。任务合同还要说明是否允许空结果、重叠区域如何处理、未知类别怎样表示、置信度供排序还是供概率决策。
同一骨干可以接不同头部，模型家族不能替代输出定义。若业务要计算每个缺陷的面积，仅有整图类别不够；若只需判断一张图是否合格，像素掩码可能增加不必要的标注成本。先写清预测单位，才能确定标注单位、损失、后处理和指标单位。
标注合同决定可学习目标
分类标签要规定多标签与互斥类别，检测要固定坐标原点、框边界和遮挡截断规则，分割要固定类别本体、忽略区域和边界约定。漏标对象若被直接当成背景，模型会同时收到“识别它”和“压低它”的矛盾信号。对模糊边界，可采用忽略带或记录多位标注者差异，但不能在评估时假装边界唯一且精确。
长尾数据不能只给总样本数。应列出每类图像数、实例数、像素数和来源组数，因为一张图可含多个实例，而大区域会贡献大量像素。划分时以患者、设备、场地、视频或采集批次等真实独立单位分组，避免相邻帧和同一对象的近重复图跨入训练与验证。
几何变换必须作用于全部空间标签
缩放、裁剪、翻转、旋转、透视和补边都改变坐标。图像、边界框、关键点、掩码和有效区域必须共享同一变换记录。类别掩码通常使用最近邻插值以免产生不存在的类别编号；连续图像可使用适合信号的插值。框应变换四角后重新求轴对齐外接框，并在裁剪后按可见比例规则保留、忽略或删除。
原图宽 、高 ，先等比缩放 得到 ，再在上、下各补四十像素成为 。原图角点框为 。缩放后为 ，加上顶部偏移后为 。
将预测映回原图时，先从两个纵坐标减四十，再把所有坐标除以 ，即可恢复原框。掩码也执行同一缩放和补边，但类别掩码用最近邻插值。若预处理只记录最终尺寸而不记录缩放比例与补边偏移，预测框即使在网络输入坐标中正确，也无法可靠返回原图。
增强表达的是任务假设。水平翻转只有在标签语义对翻转不敏感时成立；任意旋转若改变“竖直”这一类别含义，就不是合法不变性。分类常追求对某些变换不变，检测和分割则要求输出随变换等变。训练和验证的增强管线要分离，且随机增强需记录种子或参数以便复现失败样本。
损失的分母同样是建模选择
分类常按图像平均交叉熵；检测组合类别、对象性和框回归，并通过匹配确定正例、负例和忽略候选；分割可用逐像素交叉熵、区域重叠损失或边界项。损失名称不说明样本权重，真正决定权重的是求和范围和分母：按所有像素平均、按前景像素平均、先按图像平均再按批量平均，会强调不同对象。
批量中图像甲有一百个前景像素，图像乙有九百个。若把一千个前景像素的损失直接求平均，乙对总体梯度的潜在权重是甲的九倍。若先分别计算两张图的前景像素均值，再将两个均值平均，两张图的权重相同。
前者适合把每个前景像素视为同等样本，后者适合把每幅图视为同等单位；二者都可能合理，但回答的问题不同。空前景图还需单独定义分母和背景项，避免除零或被静默跳过。报告损失时必须写出掩码、求和轴和归一化顺序。
多任务损失的系数也不能只凭数值量级调整。框、类别和掩码项的梯度密度不同，某项数值小不表示它不重要。可检查各任务验证指标、梯度稳定性和失败样本，并冻结评估协议后再比较权重。
分辨率、感受野与空间步幅
输入分辨率决定对象进入网络时有多少像素。卷积网络的理论感受野由核、步幅和层数递推，实际响应往往更集中；视觉 Transformer 的块尺寸决定最初空间量化，窗口大小决定单层通信范围。检测与分割还依赖输出特征步幅：对象若小于一个粗特征单元，定位信息可能在下采样时丢失。
原始 图像中，一个缺陷宽八像素。若输入缩到 ，它约剩四像素。在步幅三十二的特征图上，其宽度只有 个单元，无法期待粗层单独表达精确边界；在步幅四的细层上约占一个单元，仍然困难，但至少保留了空间入口。
可比较提高输入分辨率、保留细尺度特征、使用多尺度融合或减少早期下采样。提高分辨率同时增加激活、候选和后处理成本，视觉 Transformer 还可能显著增加注意力矩阵。应按对象像素尺寸分组报告结果，避免总体指标掩盖微小对象失败。
更大感受野并不自动意味着更好定位。分类需要上下文判断“是什么”，边界需要局部高频信息判断“在哪里”。多尺度卷积、跳接、特征金字塔、层级注意力和密集解码器都在平衡这两类信息。检查中应同时记录输入对象尺寸、各层步幅、预测头所在层和上采样规则。
计算预算不等于参数量
参数决定权重存储的一部分，却不能代表训练或推理峰值显存。高分辨率激活、残差缓存、特征金字塔、检测候选、掩码张量和全局注意力分数都可能占主要空间。训练还需梯度和优化器状态；混合精度降低部分存储，但归一化、主权重或累加可能保留更高精度。
浮点运算量也不等于端到端延迟。硬件并行度、内存访问、动态候选数、非极大值抑制、掩码还原、图像解码与数据传输都会影响部署。可靠比较要固定硬件、批量、输入形状、预热、精度、编译设置和统计分位数，同时记录峰值显存与从输入到最终输出的时间。
三种方案的综合比较
任务输入为 面板图，要求输出每个缺陷的独立掩码并计算面积；缺陷宽度约四至四十像素，边缘设备有显存和延迟限制。
方案甲是整图卷积分类器。它成本较低，却只输出图像类别，无法区分实例或计算每个面积，因此首先因输出合同不符而淘汰。方案乙是保持全分辨率、使用 块的全局视觉 Transformer 分割器。块网格为 ，共有 个标记；忽略额外标记时，每头单层注意力矩阵含
个元素，尚未乘批量、头数和层数。这个具体配置很可能超出既定预算，且十六像素块会压缩最小缺陷，但这不等于所有 Transformer 都不可用。
方案丙采用保留细尺度的卷积干或重叠卷积入口，在较粗层使用窗口注意力，并接多尺度实例分割头。它满足实例掩码合同，局部入口也更适合微小缺陷，是优先验证候选。仍需与纯卷积实例分割基线在同一划分上比较：按尺寸统计实例召回、掩码交并比与边界误差，同时测峰值显存和端到端延迟。选择的是待验证方案，不是未经实验的冠军。
这个过程的顺序很重要：先用输出合同排除不合格方案，再用分辨率和信息路径判断可学习性，接着用预算排除不可部署配置，最后才用冻结的数据与指标比较剩余候选。模型名称只是候选特征之一。
指标必须匹配决策单位
分类可报告混淆矩阵、每类精确率召回率、宏平均和校准；类别不平衡时只给准确率会隐藏少数类。检测指标需声明类别、置信度排序、交并比阈值、尺寸分组和插值协议，重复框会成为假阳性。分割可报告每类交并比、Dice、像素准确率与边界指标；大背景可能让像素准确率虚高。
指标还要对应使用场景。若设备每分钟最多复核固定数量候选，可关心该容量下的召回；若置信度用于风险决策，需要校准曲线而非只看排序指标。阈值必须在验证集确定，测试集只做冻结协议下的最终估计。任何汇总值都应附样本数、类别或尺寸分组与不确定性来源。
分布偏移与捷径要主动制造反证
视觉模型容易利用背景、相机、压缩、边框和采集流程。随机按图像划分可能让同一拍摄会话同时出现在训练和验证，从而评估记忆而非泛化。应按设备、地点、主体或时间分组，并单独构建亮度、天气、遮挡、背景和类别频次变化的切片。
叶片数据中，病叶多在蓝色托盘上拍摄，健康叶多在白纸上拍摄。按图片随机划分时，同一农场和拍摄会话的背景会进入训练与验证，模型可能用背景颜色代替病斑。
应按农场与会话分组划分，再建立反事实检查：保持叶片区域不变，替换或中和背景；也可只输入背景区域观察置信度。若预测随背景显著变化，而病斑区域不变，就获得捷径证据。随后可补采交叉背景样本、收紧前景裁剪或加入合适增强，并在原始组、反事实组和新设备组分别报告，而不是编造一个单一改进数字。
失败分析应保留可追踪样本清单，并按真类、预测类、对象尺寸、遮挡、模糊、设备、地点、置信度和标注争议分组。对检测可拆成漏检、重复、分类和定位错误；对分割可拆成小区域消失、边界偏移、对象粘连和孔洞。发现失败后先确认标签和坐标，再检查输入采样、表示、损失、阈值与后处理，避免直接更换更大模型。
从卷积到视觉 Transformer 的统一检查表
一个可审计方案至少回答九个问题：预测单位是什么；标签是否覆盖该单位；增强是否保持标签并同步坐标；损失按什么分母；最小对象在输入和特征层有多少像素或单元；卷积感受野或注意力窗口如何传递上下文；峰值显存和端到端延迟是否满足预算；指标是否与决策单位一致；验证划分能否代表部署偏移。
卷积提供强局部先验和层级效率，检测与分割把空间表示转成实例或像素输出，视觉 Transformer 提供内容相关的长程交互。综合设计不是把三者列成目录，而是沿数据到决策的信息路径逐段验证：每个变化都说明它解决哪一段瓶颈，并用相应分组指标和资源测量证伪。
练习
某场景需要区分多个同类零件并计算各自面积，应选择何种输出，为什么？
查看提示
查看解答
写出等比缩放后左侧和顶部补边时，框与类别掩码的正向和逆向处理。
查看提示
查看解答
计算 图像使用 块时的标记数和每头全局注意力矩阵元素数。
查看提示
查看解答
比较全像素平均、先按图像平均和按类别宏平均所回答的问题。
查看提示
查看解答
为可能依赖拍摄背景的分类器设计划分和反事实检查。
查看提示
查看解答
给定分类器、全局高分辨率视觉 Transformer 和多尺度混合实例分割器，写出不依赖虚构基准的选择流程。
查看提示
查看解答
关系与资源
- 离散卷积、感受野与参数共享 解释采样、步幅和局部信息路径。
- 卷积网络架构与残差连接 提供层级骨干与多尺度基线。
- 目标检测与多尺度特征 连接实例集合、框匹配与定位评估。
- 语义分割、实例分割与密集预测 连接像素标签、实例掩码和边界。
- 视觉 Transformer 与混合架构 连接分块、位置、全局或窗口注意力及显存成本。
CS231n: Deep Learning for Computer Vision
Aditesh Kumar, Wenlong Huang, Cristobal Eyzaguirre
用于核对 A06 的离散卷积、网络结构、目标检测、密集预测、视觉 Transformer 及计算机视觉实验边界。
打开官方来源Deep Learning
Ian Goodfellow, Yoshua Bengio, Aaron Courville
适合作为反向传播和优化章节的完整参考。
打开官方来源Stanford CS231n 2025 课程用于核对卷积网络、残差结构、检测、分割和视觉 Transformer 的任务接口与实验评价；《Deep Learning》用于核对卷积、优化、正则化和泛化的基础原理。本章的视觉任务细节以 CS231n 为直接依据，教材用于解释共同训练机制而不替代最新架构证据。