SE-COTR:一种用于复杂果园环境中的青苹果果实分割模型


发布时间:

2022-12-27

来源:

植物表型资讯

作者:

PhenoTrait

随着人口老龄化的加剧,劳动力成本的上升严重制约了农产品的规模化发展。因此,能够在田间执行自动收获操作的机器人正在成为未来农业发展的一项有前途的技术。机器人水果收获需要视觉系统来进行水果检测和定位。绿色水果的精确分割是机器视觉的核心,对于实现机器采摘、病虫害预警、田间施肥、产量预测等自动化作业具有重要的应用价值和现实意义。在复杂的果园环境中快速、准确地分割绿色目标水果是开发收获机器人的一个极具挑战性的问题。在分割性能方面,在自然果园条件下,智能操作中有许多干扰因素会影响模型的准确性和效率,例如果影重叠、多光照、多角度等。特别是,绿果的颜色特征与枝叶的背景色相似,更难以区分和识别。
 
本研究提出了一种基于深度学习的水果分割方法,称为SE-COTR(基于坐标变换的分割),以实现对青苹果的精确实时分割。使用轻量级网络MobileNetV2作为主干,结合构建的基于坐标注意力的坐标变换器模块,以增强对有效特性的关注。此外,对联合金字塔上采样模块进行了优化,以集成多尺度特征,使该模型适合于不同大小的目标水果的检测和分割。最后,结合函数的输出,应用动态卷积运算来预测实例掩码。在复杂果园环境中,SE-COTR实现了61.6%的平均精度,在严重遮挡和不同果实尺度下的青苹果果实分割的复杂性较低。特别是对小目标水果的分割精度达到43.3%,明显优于其他先进的分割模型,实现了良好的识别效果。所提方法有效解决了与背景颜色相同的水果分割模型精度低、过于复杂的问题,可内置于便携式移动设备中,在复杂果园中开展精准高效的农业作业。
 

图1 果园中的苹果图像

 

图2 SE-CTR网络架构

 

图3 COTR层的流程图

 

图4 JPU模块

 

图5 SE-COTR和其他技术的分割结果

 

来 源

Wang Z, Zhang Z, Lu Y et al. SE-COTR: A Novel Fruit Segmentation Model for Green Apples Application in Complex Orchard. Plant Phenomics. 2022, 15.

 

编 辑

Phenotypic researcher

 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。