基于嵌入式系统(rtsd-net)深度神经网络的草莓实时检测:一种边缘人工智能应用


发布时间:

2022-01-21

来源:

本站

作者:

PhenoTrait

  计算机视觉技术是实现农业机械智能化的关键技术。深度神经网络在计算机视觉领域取得了巨大的成功。如何在草莓采收机械上实现体积小、成本低、功耗低、精度高、速度快的应用,成为人们研究的热点。与其他计算机视觉任务相比,在田间环境的目标识别任务中,图像包含的对象的数量相对较少,其前景背景的区分度相对更大。在不影响检测精度的情况下通过简化庞大的神经网络结构有望能够加快检测速度。

 

      本研究提出了一种新型的深度神经网络RTSD-Net用于草莓的实时检测。该网络整体结构基于新型的YOLOv4-tiny网络,将CSPNet的参数量与结构进行了简化。基于新设计的CSPNet提出了4种网络结构。通过对测试神经网络的识别性能发现,模型参数量与检测速度呈负相关,简化结构与减少参数的策略能够有效地提高检测速度。4种结构中表现最优的模型被选中并命名为RTSD-Net。与YOLOv4 tiny相比,虽然RTSD-Net的精度降低了0.62%,但其图像处理速度提高了25FPS,比YOLOv4 tiny提升了25.93%。研究选择嵌入式系统Jetson Nano评估RTSD-Net的边缘计算性能。首先,利用开放式神经网络交换(ONNX)将RTSD-Net加载到Jetson Nano后,RTSD-Net的速度为13.1FPS,比YOLOv4-tiny的速度高了19.0%。

 

     然后通过TensorRT方法将模型加速后,模型检测速度达到了25.20FPS,比ONNX模型快了一倍,比YOLOv4-tiny模型快了15%。实验结果表明,经过加速后的RTSD-Net的效率足以实现基于计算机视觉的草莓检测与收获,其在智能草莓收获机械中具有良好的应用前景。而且通过重新设计神经网络结构和降低参数来提高深度神经网络的检测速度有望在边缘计算中拥有较好的应用效果。

 

  图1草莓检测网络培训部署流程图

 

  图2 主干网络结构示意图(A:YOLOv4 –tiny;B、C、D、E:改进的网络结构)

 

  .图3 采用TensorRT格式的网络结构变换示意图

 

  图4 RTSD-Net草莓检测结果示意图

 

  来源:Zhang Y, Yu J, Chen Y, et al. Real-time strawberry detection using deep neural networks on embedded system (rtsd-net): An edge AI application[J]. Computers and Electronics in Agriculture, 2022, 192: 106586.

  

  编辑:张金诺

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。