基于AS-SwinT疏果前单串葡萄果粒的实例分割与计数


发布时间:

2023-08-26

来源:

本站

作者:

PhenoTrait

疏果是精品葡萄管理中一项重要的任务,在疏果过程中需要对单个葡萄串计数以确定需要疏除的果粒数。随着人口老龄化的严重,加之熟练的疏果技术工人短缺,大规模葡萄园疏果期难以短期内找到足够的熟练果农,因此亟需设计一种疏果机械代替人工实现重复而繁琐的体力劳动。作为葡萄疏果机械中的重要组成部分,机器视觉系统能够统计单串葡萄果粒数量并定位需要去除的果粒。为了对葡萄疏果检测提供决策依据,本文基于AS-SwinT模型提出了一种葡萄果粒实例分割与单串果粒计数方法。该模型以Swin Transformer做为骨干网络,提取葡萄果粒的丰富特征。在颈部网络中引入自适应特征融合ASFF,以充分保留底层特征,提高小果粒的检测能力。并对每个果粒的大小进行统计分析,对锚框尺寸进行优化以提高葡萄果粒的定位精度,使用Soft-NMS过滤候选框,减少密集遮挡果粒的漏检,进而提高整体葡萄串中葡萄果粒的检测精度。通过消融试验与对比实验可知,AS-SwinT在迁移学习下可以达到65.7,95.0,57.0,62.8,94.3,48,明显优于Mask R-CNN、Mask Scoring R-CNN和Cascade Mask R-CNN。在该模型的果粒计数与真实计数的误差方面,该模型的RMSE和R²分别为7.13和0.95,其线性回归结果与人工环境下的模型训练数据集的结果相当。因此,该模型对自然环境中的单串葡萄果粒的实例分割具有较强的鲁棒性。

 

图1 AS-SwinT网络结构

 

图2 骨干网络结构。(A)Swin Transformer结构 (B)Swin Transformer模块

 

图3 颈部网络的对比。(A)FPN结构。(B) AS-SwinT中的ASFF结构。

 

图4 葡萄果粒尺度统计。(A)、(B)、(C)和(D)分别为数据集中葡萄果粒的宽度、高度、宽高比和面积的数量统计。

 

图5 不同模型的mAP0.5曲线。(A)和(B)分别为训练过程中所有模型的曲线。

 

图6 自然环境下不同模型的检测样例对比。(A)Mask R-CNN (B)Mask Scoring R-CNN (C)Cascade Mask R-CNN (D)AS-SwinT

 

图7 自然背景下不同模型的线性回归对比。(A)Mask R-CNN (B)Mask Scoring R-CNN (C)Cascade Mask R-CNN (D)AS-SwinT

 

来 源

Du W.S., Liu P..(2023), Instance Segmentation and Berry Counting of Table Grape before Thinning Based on AS-SwinT. Plant Phenomics. https://spj.science.org/doi/pdf/10.34133/plantphenomics.0085.

 

作者介绍

山东农业大学刘平教授为通讯作者,山东农业大学博士研究生杜文圣为第一作者,该论文获得山东省重点研发计划项目的资助。

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。