近年来，智能温室领域取得了重大进展，特别是在应用计算机视觉和机器人技术为花朵授粉方面。机器人授粉具有多种优势，包括通过人工番茄授粉减少劳动力需求和保存昂贵的花粉。然而，以往的研究主要集中在番茄花的标记和检测上。因此，本研究的目标是开发一种专门针对机器人授粉时，一同标记、训练和检测番茄花的综合方法。为此，我们采用了迁移学习技术，利用著名的模型，即 YOLOv5 和最近推出的 YOLOv8，进行番茄花检测。使用相同的图像数据集对这两个模型的性能进行了评估，并根据它们的平均精度（AP）得分进行比较，以确定哪个模型更优。结果表明，YOLOv8 在番茄花和芽的检测中取得了 92.6% 的较高平均精度 (mAP)，优于 YOLOv5 的 91.2%。值得注意的是，YOLOv8 在检测过程中将 1920 × 1080 像素的图像大小调整为 640 × 640 像素时，推理速度也达到了 0.7 毫秒。图像数据集是在早晨和傍晚采集的，以尽量减少光照条件对检测模型的影响。这些发现凸显了 YOLOv8 在实时检测番茄花朵和花蕾方面的潜力，有助于进一步评估花朵盛开的高峰期，并促进机器人授粉。在机器人授粉方面，本研究还侧重于在 3P2R 门式机器人上部署所提出的检测模型。研究介绍了龙门机器人的运动学模型和改进电路。在授粉过程中，采用了基于位置的视觉伺服方法来接近检测到的花朵。在实验室环境中的非聚类和聚类植物环境中，验证了所提出的视觉伺服方法的有效性。此外，这项研究还为温室系统领域的专家提供了宝贵的理论和实践见解，特别是在利用计算机视觉设计花朵检测算法以及将其应用于温室机器人系统方面。

 

图1 （a）番茄植物花的结构 （b）昆虫（蜜蜂）授粉 （c）人工（振动牙刷）授粉。

 

图2 方法流程图。

 

表1 数据采集设备规格。

 

图3 数据采集装置 （a）示意图 （b）装置的三维模型。

 

图4 在温室中获取的番茄花图像示例。

 

图5 番茄花的标签示例。花朵用红色矩形标注为 “花朵”，花蕾用粉色矩形标注为 “花蕾”。

 

图6 YOLOv8 模型架构详图。Backbone、Neck和Head是模型的三个部分，C2f、ConvModule、DarknetBottleneck 和 SPPF 是模块。

 

图7 综合评估指标展示了模型在各项关键任务中的表现。

 

图8 性能参数 （a）混淆矩阵 （b）精确度-召回曲线 （c）召回-置信度曲线 （d）F1 分数曲线。

 

表2 YOLOv5s 和 YOLOv8s 验证的指标结果。

 

图9 YOLOv8s 和 YOLOv5s 模型检测到的番茄花和芽图像示例。（a）YOLOv5s 将植物茎误检测为花蕾

（b）YOLOv5s 未检测到花蕾，YOLOv5s 检测花朵时画出了两个边界框。

 

图10 带授粉系统的 3P2R 龙门机器人 （a）CAD 模型 （b）原型模型。

 

图11 3P2R龙门机器人电路图。

 

图12 龙门机器人的笛卡尔系统。

 

表3 3P2R 龙门机器人 Denavit–Hartenberg (DH) 参数。

 

图13 3P2R 龙门机器人的 Simulink 模型。

 

图14 PID 控制器产生 （a）阶跃响应 （b）锯齿响应。

 

表4 PID控制器参数。

 

图15 3P2R龙门机器人基于位置的视觉伺服模型。

 

图16 相机型号。

 

图17 深度估算结果 （a）实验室实验装置 （b）不同花朵方向的深度估算结果。

 

图18 相机机器人校准 （a）ArUco 标记（b）未群集植物（c）群集植物（d,e）校准结果。

 

图19 （a）机器人路径覆盖可视化（b）授粉过程中的搜索算法流程图。

 

图20 （a）中心位置检测 （b）检测到的花朵的视觉伺服姿态检测。

 

图21 第一排 3R2P 龙门机器人的轨迹结果（a）授粉器末端效应器的三维轨迹（b）Y-Z 平面 （c）X-Y 平面 （d）Z-X 平面。

 

图22 (a-f) 授粉任务期间的机器人路径 (g) 番茄花检测  (h,i) 授粉过程的缩放视图。

 

来 源

Singh R, Khan A, Seneviratne L, Hussain I. Deep learning approach for detecting tomato flowers and buds in greenhouses on 3P2R gantry robot. Sci Rep. 2024 Sep 4;14(1):20552.

 

 

 

 

 

编辑

小安