【自有技术大讲堂】工业视觉缺陷检测AI样本标注策略

简介

在深度学习模型的设计和训练中，数据的标注质量对于模型的最终效果、训练过程的稳定程度、模型收敛的速度、模型的泛化性等诸多关系模型质量的指标有着至关重要的影响。因此，数据标注的质量，会直接影响到模型的使用效果。为了帮助用户在操作时能选择合适的标注任务并获得高质量的标注数据，我们将跟数据标注有关的经验和建议总结于本文档中。

本文档从工业视觉检测的角度出发，内容分为“标注任务定义”和“数据标注流程”两部分，用户可根据自身需要查看对应内容。

1、标注任务定义

本部分首先介绍计算机视觉领域中的主要任务，然后介绍对应于这些视觉任务的标注需求，并举例说明用户该如何定义自己的数据任务范畴，选择适合自己应用场景的标注任务。

1.1 计算机视觉任务介绍

计算机视觉问题的主要类型包括分类、目标检测、目标分割等。

分类：输入一张图片，输出一些列标签，描述这张图片所属的目标类别名称，例如分类任务示意图，左右两张分别表示屏幕检测中的normal和defect。

检测：相比分类更加精细，除了会给出图片中含有哪些类别的目标，还会给出每个目标的位置，例如检测任务示意图，除了给出图中含有的line(线)类别信息，还会给出line在图中的位置。位置信息通过一系列标注框给出，标注框的信息一般包含框左上角坐标和框右下角坐标，模型对某一个目标的检测结果输出形式一般为：

Prediction = [label, x-min, y-min, x-max, y-max]

其中label表示目标类别名称，(x-min, y-min)和(x-max, y-max)分别代表这个目标在图中相对位置的左上角坐标和右下角坐标，这一对坐标可以构成一个矩形。理想情况下，该矩形应该和目标的边缘轮廓外接。经过改造之后，检测模型还可以用于图像分类、目标计数、目标追踪、场景监控等场景。

分割：分割的精细程度相比检测更进一步，除了给出目标类别、目标位置以外，分割任务还要区别每一个目标的细粒度位置信息，信息内容详细到目标的边缘轮廓。一般来说，模型对某一个目标的分割结果的输出形式为：

Prediction = [label, (x-0,y-0), (x-1,y-1), (x-2,y-2), ...]

其中，label表示目标类别名称，(xi, yi)表示某一个点的坐标，一系列的点构成一个封闭的多边形区域，该区域即为分割的结果区域。理论上，分割可以用于解决一切检测、分类可以解决的问题，但是分割模型的数据标注更为耗时，计算量更大，在解决实际问题时，需要综合考虑人力、算力、时间、时效等因素。

焊点

焊点分割

2、数据标注流程

2.1 确定目标场景

确定目标场景，指的是分析业务场景需求，将其转换成分类、检测、分割等机器视觉任务。该过程可参考计算机视觉任务的介绍，根据业务需求选择合适的计算机视觉技术方向。选型的主要依据可从以下三个角度出发：

1、对结果的精细化程度要求。如果需要给出检测结果的明确位置信息，应该选择检测或分割；

2、对模型服务的响应速度要求。如果对模型响应速度要求较快，则应该选择尽量简单的模型，一般来说响应延迟：分类 < 检测 < 分割；

3、标注成本。一般来说，标注的复杂度：分类 < 检测 < 分割，标注的时间、人力等成本也是相同的关系。

一般来说，检测可以解决大部分业务场景需求，相对分类和分割，检测技术在标注成本、响应时间、检测精细化程度都做到了较好的均衡，可以用适中的标注成本获取相当精度的检测效果，因此建议在技术方案验证阶段，可以先选用检测方案进行小规模验证，然后根据验证结果再进行方案调整，进一步决定是否需要精度更高、标注成本更高、响应时间更慢的分割模型还是选择成本和精度更低但是响应速度快的分类模型。

2.2 标注目标设计

确定标注目标是标注任务开始前的重要准备工作，主要指的是将业务逻辑转换成标注的目标，设计能够反应业务需求的标签体系，以更好的让标注任务产出的标注数据，可以更好的帮助模型拟合业务逻辑场景的需求。这个过程需要重点考虑以下几个问题。

2.2.1 业务逻辑关注的目标有几种？

业务逻辑关注的目标种类的数量，直接影响到标注任务的复杂程度、模型选型、标注成本等问题。另外，标注任务推进过程汇总，再进行目标新增，会直接影响到已有的标注任务推进流程，甚至有重新进行的风险，因此，在开始业务数据分析和标注之前，尽量将业务逻辑关注的目标全部明确和固化。

2.2.2 是否存在业务逻辑上是同一种目标，但实际视觉特征上差距较大的目标？

在开始标注任务设计之前，应首先明确业务逻辑关注的目标类别的粒度，该需求对标注任务的设计也有直接的影响。例如下图有两种缺陷，如果业务需求只需要确定图中是否包含缺陷，划伤和脏污从业务逻辑是同一种类别。但实际上他们的图像特征差异比较大，如果共享同一个类别，可能会导致模型难以拟合。这种情况下，在设计标签体系的时候，可对标签进行适度拆分，例如划伤、脏污分别赋与“NG-划伤”，“NG-脏污”两种标签类型。对于算法模型来说，这是两种截然不同的类别，对应两种截然不同的视觉特征表达，但是在模型检测效果上，它们依然是“NG”这一大类别，符合业务逻辑的设定，平衡了业务需求和模型算法，更容易得到拟合效果优异的模型。

2.2.3 是否存在业务逻辑上不属于同一类，但实际视觉特征上极易混淆的目标？

与2.2.2相反，该问题需要关注的是，不属于同一类别，但是视觉特征极其相似的场景。例如下图中的Mura和气泡，在业务逻辑上属于不同的类别，但是从视觉特征上看比较接近，容易混淆。对于这种场景，可以从以下几个方面设计标注任务：

A. 明确接近的目标类别的特征差异和专家判别依据；

B. 上传更多的对照数据，扩充样本量，增加模型对特征学习的可能性；

C. 分析近似目标更多的是在同一张图片中出现还是不在同一张图片中出现。在标注任务设计时，将接近的类别单独放到一个数据集中进行单独标注和质量管控，不与其他简单的数据集进行混淆。如果接近的目标大部分处于同一张图片中，则将包含两种接近目标的图片单独筛出，创建标注任务；如果接近的目标基本都不同时出现，更多的是出现在不同的图片中，则将两类各自分成一个标注任务数据集，各自进行标注，且标注过程中，可选标签只包含其对应的类别，这样可以快速标注且不会误标。

2.2.4 各类目标的样本数量各有多少？

防止标注数量不均衡。例如，某一批图片中，共有类型A 1万张，类型B 200张。但是从视觉的角度看，A不是特别难判定。这种情况下，将A和B各标注适量（例如都标注200张）即可，如果后续发现类型A检测效果不达预期，再对类型A进行标注补充即可。这样可以节省标注时间，且保证关注的目标都可以有适量的训练数据，避免标注的资源都被数据量特别大的一类或几类独占。

2.2.5 是否存在数据量特别少的目标类型？

一般来说，某类缺陷要被模型良好的识别，需要相当数量的图片。根据目标的识别难易程度不同，所需要的样本数量也不同，但是根据经验，每种关注的类别的样本数量应在100张以上才能确保模型效果相对良好且具有较好的稳定性和泛化性，最少不应少于20张才能保证模型可以对该目标初步具备检测能力。如果某类数量少于20张，则属于样本量严重不足。在训练时应对数据量较少的类型会进行自动增广，但是依然难以保证涵盖真实场景下的特征表达。因此，对于数据量特别少的类别，可采取以下策略：

A. 尽量通过仿真、摆拍等方式，在符合业务场景的前提下采集更多数据；

B. 可将数据集重复上传，在标注过程中，标注的位置略微差异，这些差异会在一定程度上提高模型的拟合效果。

2.2.6 目标之间的尺度差异如何？

在业务场景中，可能会存在尺度差异较大的目标类别。如下图所示，1所指的暗点相较于上面举例的缺陷占整个画面的比例要小很多，如果遇到这种情况，从算法角度考虑，确定算法对该类目标的检测效果（算法对于特别小的目标的检测效果弱于正常尺寸目标的检测效果），如果模型可以正常检测，则将其当做一种普通类型标注即可，否则，需要确定是否将图片进行裁剪（例如切成九宫格），对每一张剪切后的图片进行处理，再将结果整合到一张图上。如果采取这种方式，则标注任务也最好基于剪切后的图片上进行。

2.2.7 是否存在形态会在业务逻辑中发生较大变化的目标？

例如，在生产线中，某种缺陷的形态可能随着生产批次的不同发生改变，如果这种变化不大，标注任务不需要做出太大调整，可通过补充数据和标注、重新迭代模型的方式使模型效果可以保持更新。如果在视觉特征上发生较大变化，且历史数据所对应的目标类别不会再出现，则应该重新收集数据，不建议将视觉特征发生较大变化的类别直接和之前的同种类别历史数据混合起来。

2.3 确定标注标准

在经过上一步分析后，符合业务场景需求的标注标签体系和标注标准基本可以建立。在标注确定后应同步给所有参与标注的人员，以确保标注质量。除了与具体业务逻辑相关的标注标准以外，在标注过程中，有一些通用的标注标准，本部分进行介绍。

在目标检测标注过程中，有以下通用原则：

2.3.1 最大最小原则

指标注框在框选目标区域时，要尽量大，大到能够包含目标区域的主要边界；要尽量小，小到除了目标区域边界以外，不包含其他无关区域。

2.3.2 宁无不错原则

在标注过程中，对于一些不确定的目标区域，宁可不打标签，也不要打上错误的标签，因为错误的标签对于模型训练的过程是很大的扰动，会导致模型训练难以收敛，最终导致模型的泛化性极差、难以拟合等问题。

2.3.3 适当噪声原则

在标注过程中，可以适当增加一些噪声区域的标注，或者对于目标区域的标注过程中，适当将标注框比目标区域稍微大一些，涵盖少许非目标区域的背景区域，但是不宜过大，整体主要目标区域占标注框面积的比例至少应为2/3以上，标注框可以适当外扩较小的比例。

2.3.4 所标即所见原则

标注过程中，不要添加主观想象力和先验知识，只标注从视觉上看到确定是目标的部分。

2.3.5 只标业务相关原则

假设业务逻辑规定只检测气泡和脏污，那么在标签设计中，不应该设计其他类型标签，也不应该强行给清楚看到、但是不属于标签体系的目标强行标注。