FCOS-LSC:复杂果园环境下青果检测的新模型


发布时间:

2023-07-30

来源:

植物表型资讯

作者:

PhenoTrait

为了更好地解决机器视觉系统中青果识别技术设计的难点,提出了一种基于LSC注意块的全卷积单阶段目标检测算法(full convolutional one-stage object detection based on LSC attention blocks,FCOS-LSC),该算法在特征图的水平尺度、空间和通道上执行。该方法对受重叠遮挡、光照条件和捕获角度影响的青果图像实现了高效的识别和定位。具体来说,利用改进后的特征提取网络ResNet50加入可变形卷积,充分提取青果特征信息。采用特征金字塔网络(feature pyramid network,FPN)以交叉连接和自顶向下连接的方式充分融合底层细节信息和高层语义信息。接下来,在生成的多尺度特征图的尺度、空间(包括特征图的高度和宽度)和通道三个维度上分别加入注意机制,提高网络的特征感知能力。最后,应用该模型的分类和回归子网络对水果类别和边界框进行预测。在分类分支中,采用新的正负样本选择策略,通过在损失函数中设计权值,更好地区分监督信号,实现更准确的水果检测。所提出的FCOS-LSC模型具有38.65万个参数(Params), 38.72G浮点运算(floating point operations,FLOPs),检测青苹果和青柿子的平均精度(mean average precisionm,AP)分别为63.0%和75.2%。综上所述,FCOS-LSC在精度和复杂度上都优于目前最先进的模型,可以满足智能农业装备对青果识别的准确和高效要求。相应的,FCOS-LSC可以提高青果检测模型的鲁棒性和泛化性。

 

图1 青苹果在不同场景中的图像。

 

图2 FCOS-LSC概述

 

图3 显示C3中部分可变形的卷积结构。

 

 图4 基于卷积的实现,在特征映射的每个维度上采用注意机制。

 

 图5 特征映射的每个维度的实现细节。

 

图6 训练期间学习率的变化。

 

图7 模型训练阶段两个数据集的损失变化,左边的图像是苹果数据集,右边的图像是柿子数据集。

 

 图8 两个数据集上每个历元下的AP值。(左):苹果验证集;(右):柿子验证集。上行为两组数据集上FCOS-LSC AP值的变化曲线,下行为两组数据集上FCOS-LSC AP值与基线模型比较的变化曲线。

 

 图9 苹果数据集上不同阈值下的P-R曲线。

 

 图10 苹果数据集。

 

图11 柿子数据集

 

 图12 不同算法在apple数据集上的检测结果。

 

 图13 不同算法对柿子数据集的检测效果。

 

 图14本文提到的所有模型在苹果数据集上的可视化。

 

 

来 源

Zhao Ruina Guan Yujie Lu Yuqi Ji Ze Yin Xiang Jia Weikuan . FCOS-LSC: A novel model for green fruit detection in a complex orchard environment. Plant Phenomics. 0;DOI:10.34133/plantphenomics.0069

 

编辑

王春颖
 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。