学术中心
基于AS-SwinT疏果前单串葡萄果粒的实例分割与计数
发布时间:
2023-08-26
来源:
本站
作者:
PhenoTrait
疏果是精品葡萄管理中一项重要的任务,在疏果过程中需要对单个葡萄串计数以确定需要疏除的果粒数。随着人口老龄化的严重,加之熟练的疏果技术工人短缺,大规模葡萄园疏果期难以短期内找到足够的熟练果农,因此亟需设计一种疏果机械代替人工实现重复而繁琐的体力劳动。作为葡萄疏果机械中的重要组成部分,机器视觉系统能够统计单串葡萄果粒数量并定位需要去除的果粒。为了对葡萄疏果检测提供决策依据,本文基于AS-SwinT模型提出了一种葡萄果粒实例分割与单串果粒计数方法。该模型以Swin Transformer做为骨干网络,提取葡萄果粒的丰富特征。在颈部网络中引入自适应特征融合ASFF,以充分保留底层特征,提高小果粒的检测能力。并对每个果粒的大小进行统计分析,对锚框尺寸进行优化以提高葡萄果粒的定位精度,使用Soft-NMS过滤候选框,减少密集遮挡果粒的漏检,进而提高整体葡萄串中葡萄果粒的检测精度。通过消融试验与对比实验可知,AS-SwinT在迁移学习下可以达到65.7
,95.0
,57.0
,62.8
,94.3
,48
,明显优于Mask R-CNN、Mask Scoring R-CNN和Cascade Mask R-CNN。在该模型的果粒计数与真实计数的误差方面,该模型的RMSE和R²分别为7.13和0.95,其线性回归结果与人工环境下的模型训练数据集的结果相当。因此,该模型对自然环境中的单串葡萄果粒的实例分割具有较强的鲁棒性。
图1 AS-SwinT网络结构
图2 骨干网络结构。(A)Swin Transformer结构 (B)Swin Transformer模块
图3 颈部网络的对比。(A)FPN结构。(B) AS-SwinT中的ASFF结构。
图4 葡萄果粒尺度统计。(A)、(B)、(C)和(D)分别为数据集中葡萄果粒的宽度、高度、宽高比和面积的数量统计。
图5 不同模型的mAP0.5曲线。(A)和(B)分别为训练过程中所有模型的
和
曲线。
图6 自然环境下不同模型的检测样例对比。(A)Mask R-CNN (B)Mask Scoring R-CNN (C)Cascade Mask R-CNN (D)AS-SwinT
图7 自然背景下不同模型的线性回归对比。(A)Mask R-CNN (B)Mask Scoring R-CNN (C)Cascade Mask R-CNN (D)AS-SwinT
Du W.S., Liu P..(2023), Instance Segmentation and Berry Counting of Table Grape before Thinning Based on AS-SwinT. Plant Phenomics. https://spj.science.org/doi/pdf/10.34133/plantphenomics.0085.
作者介绍
山东农业大学刘平教授为通讯作者,山东农业大学博士研究生杜文圣为第一作者,该论文获得山东省重点研发计划项目的资助。
编辑
推荐新闻
视频展示