FCOS-EAM:一种针对重叠绿色水果的精确分割方法


发布时间:

2024-10-23

来源:

作者:

基于深度学习的精确水果检测和分割是采摘机器人成功作业的关键,但果园复杂的背景、光照和树枝遮挡以及水果重叠等因素导致现有方法的检测和分割准确率低且复杂度高。针对这些问题,本研究提出了一种基于 FCOS 的改进型绿色水果分割方法。首先,通过添加分割模块实现其对绿色水果的分割功能。然后,通过添加边界注意模块(BAM)对 FCOS 头网络进行改进,以更高的精度检测绿色水果的边界。此外,在分割模块中还融合了掩膜分支和边缘分割分支的特征,并利用非局部亲和性解析对特征图中所有像素点之间的成对亲和性进行建模,从而学习外观共性,最后结合水果形状特征图和外观共性输出分割预测结果。实验结果表明,该模型在苹果数据集上的分割准确率达到81.2%,在柿子数据集上的分割准确率达到77.9%,保证复杂度相对较低,超过了目前大多数分割模型。同时,该模型具有较高的鲁棒性,可用于果园中其他绿色果蔬的检测和分割工作,同时有效扩展了农业设备的应用范围。

 

图1 苹果图像

 

图2 柿子图像

 

图3苹果图像增强处理效果。

 

图4 图像标注

 

图5 FCOS-EAM的整体流程

 

图6 检测模块示意图

 

图7 BAM结构示意图

 

图8 EAM结构图

 

图9 非局部亲和解析结构图

 

图10 苹果数据集的损失变化

 

图11 柿子数据集的损失变化

 

图12 苹果和柿子分割结果的可视化

 

图13 苹果检测对比图(第一行是使用Fcos方法检测苹果的结果图,第二行是使用添加BAM后的方法检测苹果的结果图)。

 

图14 使用和不使用eam模型的苹果结果图可视化

 

图15 苹果数据集的分割AP

 

图16 柿子数据集的分割AP

 

来 源

Jia W, Cao K, Liu M, et al. FCOS-EAM: An accurate segmentation method for overlapping green fruits[J]. Computers and Electronics in Agriculture, 2024, 226: 109392.

https://doi.org/10.1016/j.compag.2024.109392

 

编辑

小王博士在努力

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。