麦穗检测是与植物表型相关的计算机视觉核心问题，近年来随着大规模数据集在研究中得到应用，人们对该问题的兴趣日益浓厚。在训练数据有限的深度学习问题中，合成数据已被证明可以通过增加可用训练示例的数量来提高性能，但由于域偏移(Domain shift)，合成数据的有效性有限。为了克服这一问题，人们提出了许多对抗方法，如生成对抗网络(Generative Adversarial Networks，GANs)，通过域增强(Domain augmentation)更好地将合成数据的分布与真实图像的分布对齐。

　　本文提出了一种利用合成数据和领域自适应(Domain adaptation)架构来提高小麦穗检测分数的新方法，利用合成数据对全球小麦穗挑战数据集进行补充。

　　使用Blender(免费开源三维图形图像软件)随机生成新的3D模型，包含大量的小麦穗，由生成的茎和手工制作的小麦穗组成，最后添加到每个植物的最终外观，如图1。

　　图1 Blender中的场景示意，显示合成小麦穗分散在叶子上和用来捕捉位于场景上方的每个图像的摄像机。

　　然后，提出支持高斯热图的CycleGAN模型如图2，通过使用热图回归作为支持网络(Heatmap Supported)，采用CycleGAN模型，预测小麦穗位的高斯热图如图3。并通过聚类来应对目标域的高变化来提高小麦穗检测分数，将数据集分割成不同的视觉外观集群，作为生成器的单独目标进行训练，使用预训练的InceptionV3特征提取器从每幅图像中获得一个特征向量，然后使用K-means聚类将图像分成相似的图像簇。选择一个k = 4的值，以在最大化集群数量的同时确保每个集合中有足够的图像，以使CycleGAN可行之间实现最佳折衷。增加k的值可能会导致产生的数据更加多样化，如图4。

　　图2 支持高斯热图的CycleGAN模型;对于从我们的目标数据集(由图中的四个层表示)提取的每个簇，重复这个过程，为每个输入合成图像生成多个输出。

　　图3 我们的热图支持(Heatmap Supported)的例子，显示输入图像和真实图像(groundtruth)配对对应的输出和预测的高斯热图。地面真实和预测标签之间的高度相似表明小麦的穗部位置在增强过程中被保存下来。

　　图4在4组聚类实验中产生的4个图像的例子。每个簇代表R中不同种类的图像;这些子集可以根据小麦种类、生长阶段、一天中的时间或其他因素来分组，这些因素影响了图像的获取方式。

　　实验结果如图5和6，表明所提出的方法在所有测试实例中具有一致的高性能。

　　图5 合成图像的比较。(a)简单合成;(b)用未修改的CycleGAN模型;(b)使用热图支持的CycleGAN;(c)中的图像展示了真实的色彩，小麦穗和背景之间的对比度更高。(b)中的图像进行了更多的预测，导致准确性较低。

　　图6 每个小麦穗检测均交并比(mean IoU)得分的数据的箱线图可视化。标号代表的实验设置：(1)真实;(2)合成与真实;(3) CycleGAN;(4)热图支持，无真实;(5)热图支持和真实;(6)四聚类热图支持，无真实;(5) 四聚类热图支持和真实

　　最后，公开了合成小麦数据集，包含超过10,000张合成小麦图像，并带有包围框注释，网址：https://plantimages.nottingham.ac.uk。

　　来源：Hartley, Z.K.J.; French, A.P. Domain Adaptation of Synthetic Images for Wheat Head Detection. Plants 2021, 10, 2633. https://doi.org/10.3390/plants10122633

　　编辑：王春颖