害虫对粮食生产造成重大损害，因此早期发现和有效缓解战略至关重要。基于机器学习(Machine Learning，ML)的自动化农业害虫检测方法正在不断转变。尽管监督学习在这方面取得了显著进展，但由于需要大量专家参与标记用于模型训练的数据，它受到阻碍。这使得现实世界的应用程序变得乏味，而且常常是不可行的。最近，自监督学习(Self-supervised learning，SSL)方法提供了一种可行的替代方法，可以用最少的注释来训练ML模型。本文提出了一种SSL方法对22种害虫进行分类。使用三种不同的SSL方法，即视觉表征的最近邻对比学习(Nearest Neighbor Contrastive Learning of Visual Representations，NNCLR)、Bootstrap Your Own Latent和Barlow Twins，对原始和分割的现场捕获图像进行了框架评估。在ResNet-18和ResNet-50模型上使用所有三种SSL方法对原始RGB图像和前景分割图像进行SSL预训练。使用SSL表示的线性探测和端到端微调方法来评估SSL预训练方法的性能。SSL预训练的卷积神经网络模型能够有效地执行注释分类。对于线性和全模型微调，NNCLR是性能最好的SSL方法。仅使用5%的注释图像，使用ImageNet初始化的迁移学习获得了74%的准确率，而NNCLR在端到端微调的分类准确率提高了79%。使用SSL预训练创建的模型始终表现得更好，特别是在注释非常少的情况下，并且对对象类不平衡具有鲁棒性。这些方法有助于克服注释瓶颈，而且资源效率高。

图1 美国爱荷华州立大学研究领域收集的一些害虫图像，包括图像的种类、类型和质量。

图2 每一类昆虫的数量，按降序排列(从上到下)。

图3 (A)单个(左)和多个(右)相同昆虫马利筋虫的实例;(B)来自不同类别的两个外形相似的昆虫的例子- (B-i)黑兵甲虫(左)和树液甲虫(右)和(B-ii)南方玉米根虫(左)和豆叶甲虫(右);(C)两个伪装背景效应的例子，每个例子都有一个北方玉米根虫的例子;(D)同一昆虫类豆叶甲虫的类内变异;(E)同一图像中的多个昆虫类别——(E-i)一只瓢虫、一只兵甲虫和两只北方玉米根虫，(E-ii)一只北方玉米根虫和一只西部玉米根虫;(F)玉米根虫(左)与条纹黄瓜甲虫(右)的视觉相似性;(g)噪声背景和同一图像中多种昆虫的实例- (g -i)北部和西部玉米根虫和(g -ii)北部玉米根虫和马利筋虫;(H)背景和前景的光照效果，各有一个豆叶甲虫实例。

图4 详细的方法流程图，表示两个输入集，原始/分段，骨干架构ResNet-18和50 (RN 18/50)，抽样策略-随机，随机增强，多样化和多样化增强，以及样本的标记分数从0.1%，0.3%，0.5%到100%不等。

图5特定昆虫类别的原始(上一行)和相应的分割(下一行)图像示例(以BGR格式)，包括北方玉米根虫、跳蚤甲虫、玉米耳虫幼虫、豆叶甲虫和蚜虫。

图6 (A)线性分类和(B)端到端微调方法的说明，用于比较自监督学习方法的准确性。在(A)中，只对最后一个完全连接层的权重进行微调，在(B)中，所有模型权重都在端到端评估中进行微调。

图7 在ResNet-18和50 (RN18/RN50)主干下，绘制了原始和分割数据集的自监督学习性能的平均值(在所有四种采样策略和三次重复中)。

图8 比较不同采样策略对每一种自监督学习方法的影响。为简洁起见，将结果绘制为1%、5%、10%、50%和100%的样本量，这些样本量可能捕捉到随着样本量增加而提高分类精度的总体模式。

图9 使用分割图像对(A) ResNet-18和(B) ResNet-50模型进行端到端微调评估。“监督”曲线对应于随机初始化的训练。针对不同的标签百分比分数(0.1%、0.3%、0.5%、0.7%、1%、3%、5%、7%和10%)对模型进行微调。

图10 混淆矩阵的ImageNet初始化ResNet-50。该模型使用7%的标记图像进行训练。对输入图像进行基于熵的分割预处理，去除背景。

图11 基于最近邻对比学习视觉表征(NNCLR)的混淆矩阵初始化了分割图像上训练的ResNet-50模型。该模型使用7%的标记图像进行训练。对输入图像进行基于熵的分割预处理，去除背景。