基于注意力机制和DIoU-NMS的Faster R-CNN对自然场景中红薯叶进行检测-慧诺瑞德（北京）科技有限公司|叶绿素荧光|光合作用|植物表型

学术中心

全部分类

基于注意力机制和DIoU-NMS的Faster R-CNN对自然场景中红薯叶进行检测

发布时间：

2022-12-21

来源：

植物表型资讯

作者：

PhenoTrait

准确检测植物叶片对于建立智慧农业系统是一项既有意义又有挑战性的任务。为了提高对自然场景中严重遮挡、重叠或形变的植物叶片检测性能，本文开发了一种改进的Faster R-CNN框架和视觉注意力机制的红薯叶检测法。首先，将卷积注意力模块添加到骨干网络，通过融合跨通道信息和空间信息来增强和提取红薯叶图像的关键特征。随后，采用DIoU-NMS算法替换原始NMS算法，调整区域提取网络。通过考虑目标的重叠率、距离和尺度，利用DIoU-NMS减少密集分布叶片场景中的漏检和误检。采集田间红薯植株图像，图像中红薯叶以不同的大小和姿态呈现，并且有大量的叶片彼此遮挡或重叠，利用上述图像测试和评价所提检测方法。实验结果表明，所提的检测方法优于现有的目标检测方法，其平均精度达到95.7%，比原始的Faster R-CNN高2.9%，比YOLOv5高7.0%。该方法在检测密集叶片方面取得了良好的性能，可为智慧农业和生态监测（如生长监测或植物表型）的应用提供关键技术。

Faster R-CNN 框架

Faster R-CNN是基于R-CNN和Fast R-CNN的经典目标检测方法，使得获取特征图、生成候选区域、进行回归和分类操作全部融合到一个深度神经网络中。在网络中，输入图像被缩放到固定大小，并应用一系列卷积层来学习对象特征并生成特征图。随后，RPN网络从特征图中生成候选区域，然后进行下采样操作对特征图进行归一化，供全连接层进一步处理。在网络的末端，特征图被展平，通过分类和回归层判断对象所属的类别，并根据NMS算法过滤边界框。最后调整候选区域的位置，得到最终的物体检测结果。基于Faster R-CNN模型的植物叶片检测流程如图1所示

改进的Faster R-CNN

引入视觉注意机制来增强叶特征，此外，修改RPN中的NMS模块提高了对密集叶检测的准确性，改进策略如图2所示。将卷积注意力模块集成到主干网络中以增强叶的特征图。骨干网由残差网络（ResNet50）组成，包含四个卷积层，即第 1 层、第 2 层、第 3 层和第 4 层。在第一层之前和最后一层之后添加了CBAM模块，以研究注意力模块对复杂树叶检测的影响。此外，DIoU-NMS用于替代RPN网络中的NMS，以提高聚合树叶的检测精度。

图1 基于Faster R-CNN模型的叶片检测过程

图2 改进的Faster R-CNN，给定的图像被缩放到 800×800 像素，并通过基于CBAM的骨干网生成特征图。在RPN网络中，候选叶由回归和分类操作生成。

、

图3 CBAM注意力模块示意图

图4 添加了CBAM卷积模块的模型网络架构

图5 所提模型的叶子检测结果

图6 模型改进前后的预测效果对比：(a)原始模型；(b) 改进模型。

图7 叶子检测中视觉注意力的效率：(ab) Faster R-CNN和改进模型的检测结果，(cd) Faster R-CNN 和改进模型的热图。

来源

Wang M, Fu B, Fan J, et al. Sweet potato leaf detection in a natural scene based on faster R-CNN with a visual attention mechanism and DIoU-NMS[J]. Ecological Informatics, 2022: 101931.

编辑

刘昕哲

扩展阅读