快速检测番茄果实并准确获取表型特征对机器人自动采摘控制、产量预测和品种育种具有重要意义。番茄果实常常在复杂的树冠中密集分布，并被枝叶遮挡，使得在不造成损伤的情况下准确检测果实和获取表型特征变得困难。本文提出了一种基于改进RTDETR模型的番茄自动检测方法。首先，基于自制的校准板，使用颜色图像传感器获取番茄图像。然后，设计并嵌入由多尺度膨胀卷积（MDC）、聚焦特征下采样器（FFD）和自适应特征上采样器（AFU）组成的CASA结构于改进的RTDETR网络的Neck结构中，以构建基于改进RTDETR模型的番茄果实检测方法。最后，通过整合机器学习和图形处理技术，建立了一种基于CIE Lab*颜色空间的果实颜色提取方法、一种基于边缘检测和Hough变换的果实直径计算方法，以及一种基于统计回归模型的果实重量和周长测量方法。实验结果表明，本文建立的番茄果实检测模型的mAP_0.5达到了0.86，比原始模型提高了3%。果实的水平和垂直直径的计算值与测量值之间的相关系数为0.79，果实重量和周长的均方误差（MSE）分别为0.26和0.27。这一成果实现了一种准确、无损和快速的番茄果实检测及表型计算方法，为番茄自动采摘机器人的果实检测、定位与控制提供了定量参考指标，并为作物产量预测和品种育种提供了技术支持与保障。

 

图1. 番茄数据采集。

 

图2. 番茄果实标注。

 

图3 数据增强。

 

图4番茄果实识别流程。

 

图5  RTDETR-CASA网络架构。

 

图6. BottleneckCSP模块。

 

图7. MultiScaleDilatedConv模块。

 

图8. 通过多尺度膨胀卷积的特征图。

 

图9  CSP_MDC模块。

 

图10 自适应特征上采样模块。

 

图11 通过自适应特征上采样特征图。

 

图12 FFD模块。

 

图13 通过FFD的特征图。

 

图14 番茄果实颜色提取过程。

 

图15 校准板校准过程。

 

图16 蕃茄果实校准过程。

 

图17 精确度、召回率、mAP@0.5 和 mAP@0.5:0.95 变化曲线。

 

图18 混淆矩阵。

 

图19  Grad-CAM可视化。

 

图20 不同遮挡程度下番茄果实识别实验。

 

图21 矩阵点图。

 

图22 水平和垂直直径结果分析。

 

图23 水果重量和周长结果分析。

 

来 源

Gu Z, Ma X, Guan H, et al. Tomato fruit detection and phenotype calculation method based on the improved RTDETR model[J]. Computers and Electronics in Agriculture, 2024, 227: 109524.

https://doi.org/10.1016/j.compag.2024.109524

 

编辑

王永贤