深度学习的大部分成功归功于监督学习，其中大规模的注释数据集用于模型训练。然而，开发这样的数据集是具有挑战性的。本文提出了一种半自监督学习(Semi-supervised learning)的麦穗检测方法。该方法利用一小段视频片段和每段麦田视频片段中仅有的一幅标注图像来模拟用于模型构建的大型计算标注数据集。

　　背景和麦田视频片段都是用1200万像素和4800万像素的三星相机从上到下拍摄的，样本图像帧如图1。

　　图1 背景 (第1-6行)和麦田(第7行)的视频剪辑快照。

　　首先，随机选择一个背景图像和一个随机的小麦穗子集。然后将选中的麦穗进行增强，并随机放置在背景图像上。通过这个过程，利用每个麦穗的位置提供相应的边界框注释。其次为图像创建了一个分割遮罩，精确计算旋转段的最紧的包围框。背景图像在随机放置麦穗之前也要进行数据增强。因此，每个背景视频和每个麦田视频都可以模拟一组带注释的图像数据集。图2显示了模拟图像/标签对的过程。这个过程可以用来模拟大规模的计算注释数据集，图像示例如图3。

　　图2 模拟计算注释图像的流程

　　图3 模拟图像的例子。从麦田的真实图像中可以观察到分布的偏移。

　　在模拟大规模标注数据集的基础上，建立了麦穗目标检测模型。考虑到仿真图像和真实图像之间的域间隙，采用两个域自适应(domain adaptation)步骤来缓解分布偏移的挑战，首先创建一个数据集，包括每个图像的所有360个不同的旋转，并进行图像增强，流程如图4，图像示例如图5，使用该数据集对模型进行微调。域自适应的第二步是将得到的微调模型用于检测从不同的麦田视频片段中提取的所有未标记图像。然后将这些伪标签用作训练数据，以进一步使用真实数据对模型进行微调。

　　图4 开发一个强大的增强数据集使用一些标签图像

　　图5来自小标记数据集的强增强图像的示例。

　　所有实验都使用了YOLO架构，使用了模拟数据集中90%的样本进行训练，10%用于验证，结果如表1。对于模型评估，使用了一个外部评估，该评估使用的是GWHD 2021数据集的测试子集，包括1381张带注释的图像。

　　该模型应用于真实的无注释数据集时，取得了良好的性能。当对来自全球小麦穗部检测挑战的数据集(GWHD，Global Wheat Head Detection)进行微调时，性能得到了进一步改善。该模型E的平均精度为0.827，其中预测的边界框与地面真实之间的重叠大于等于50%被认为是正确的预测。

　　表1 模型A、B、C、D、E和一个基线模型的外部评价结果。模型A是在仿真图像上训练得到的模型，预测结果如图6，模型B和C分别是域自适应的第一步和第二步得到的模型，分别如图7和图8。模型D是在GWHD数据集的训练子集上对模型C进行微调的结果。模型E首先使用模型D对GWHD数据集的测试集进行伪标记，然后使用训练集和GWHD数据集的伪标记测试集对模型D进行微调。基线模型以监督的方式使用GWHD数据集的“训练”集训练。

　　图6。模型A的预测示例，该模型仅在模拟数据集上训练。这些图像来自模型未见过的GWHD数据集到。由于模拟数据与实际数据存在域差，模型A未能检测到大量的小麦穗。

　　图7。例如模型B所做的预测，即第一步领域适应所产生的模型。在强增强标记的数据集上微调了模型A(见图6)。生成的模型称为模型B。这些图像来自于模型未见过的GWHD数据集。

　　图8。例如模型C所做的预测，即第二步领域适应所产生的模型。使用模型B(见图7)对大数据集的未标记图像帧进行伪标记。然后利用图像及其伪标签对模型B进行进一步微调。经过微调的模型称为模型C。这些图像来自于模型未见过的GWHD数据集。

　　尽管该方法在小麦穗部检测中的应用表明了其实用性，但该方法并不局限于小麦穗部检测，还可以用于其他领域，如不同作物类型的检测，缓解了这些领域缺乏大规模标注数据集的障碍，促进和加速标记过程，使广泛的监督学习目标检测系统得以开发。

　　来源：Keyhan Najafian, Alireza Ghanbari, Ian Stavness, Lingling Jin, Gholam Hassan Shirdel, and Farhad Maleki. A Semi-self-supervised Learning Approach for Wheat Head Detection using Extremely Small Number of Labeled Samples. ICCV2021.

　　编辑：王春颖