基于图像的葡萄栽培产量参数分析


发布时间:

2022-05-21

来源:

本站

作者:

PhenoTrait

  产量估算在葡萄栽培中具有重要意义,因为早期的产量估算会影响葡萄种植者的管理决策。目前的做法包括在现场对小样本进行破坏性取样,随后在实验室进行详细分析。结果是外推到田间的,仅近似于实际情况。因此,近年来的研究集中在安装在现场车辆上的基于传感器的系统,因为它们可以提供快速、准确和鲁棒的数据采集。然而,许多工作在发现果实后就停止了,很少有实际的产量估算工作。

 

  我们提出了一种新的产量估计方法,使用多摄像机系统捕获三种不同的葡萄品种的图像(图2和图3)。该系统安装在一个被称为Phenoliner的田间表型平台上,该平台是由一个改良的葡萄收获机构建的,如图1。我们使用一个神经网络,其输出用于在单个图像中计数果实。与现有的方法不同,本文从单藤蔓图像处理到植物图像处理。利用多幅图像的信息获取植物级的计数,并将该方法扩展到基于整行的处理,如图4-6。基于地理参考图像坐标的图像选择,目标是使所选图像之间的重叠最小,如图7,通过从重叠区域中匹配含有葡萄串的图像块来考虑重叠问题,如图8。获得的果实数被用作产量估计的输入,我们探索我们的方法的局限性和潜力。垂直拍照定时系统(vertical shoot positioned system,VSP)叶子遮挡很少,因为大多数的葡萄串定位在树冠下的下部,甚至所谓的果期区(图9)。半最小修剪树篱(semi minimal pruned hedge,SMPH)有很高比例的阻挡果实的灌木状的树冠结构(图10)。

 

  与参考相比,我们的系统在植物水平上实现了6 - 8%的果实计数MAE。此外,我们证明了结果在多个数据收集过程中是可重现的和稳定的。我们还通过专门的实验分析了叶片遮挡的影响,如图11-12。我们能够证明,在SMPH训练系统中的叶片遮挡具有如此高的可变性,可见果实的数量和产量之间的关系是不可能的。将可见果实的数量与收获时的产量联系起来,并分析两者之间的关系,如图13-15。然而,在VSP系统中,我们能够实现26%的产量估算MAE。这是意料之中的,因为产量的估计高度依赖于可见产量组成部分的数量。可见性因子是估计的限制因子,而果实重量在比较中并不是主要因素。对可见果实的实际检测是最不关键的部分。提高产量估计的一种方法是,通过有关叶片和葡萄遮挡的管理决策,增强这些组件的可见性。

 

  图1 (a)为表型平台Phenoliner。它以ERO Ger€atebau的葡萄收获机为基础,收割设备被移除,安装了摄像系统、照明装置和扩散背景。所使用的相机系统可在(b)中看到,由5个相机组成,提供树冠的重叠图像。垂直摄像头的位置与每个摄像头之间35厘米,导致外部两个摄像头之间的最大距离约70厘米。这导致了1.2米的垂直冠层覆盖。

 

  图2 图片显示了实验中观察到的三种不同品种。雷司令(Riesling)和菲丽莎(Felicia)是绿色品种,而丽晶(Regent)是红色品种。所有的图像都是在六月初用Phenoliner记录的。

 

  图3 这些图像显示的是在不同的BBCH(Biologische Bundesanstalt, Bundessortenamt and Chemical industry)阶段观察到的同一株雷司令。从左到右,果实的大小增加,颜色改变。

 

  图4 从图像采集到植物级计数的步骤

 

  图5 用于区块(patch)匹配过程的流程。输入是两个图像,它们被串掩码遮罩。在上面的图像中提取一个区块,在下面的图像中由于一个近似已知的图像方向减少搜索空间。将区块与图像进行关联后,识别出相应的束。

 

  图6 (a)显示了从果实边缘掩膜中提取的神经网络输出。白色表示对应于类“berry”的像素,而灰色像素表示类“edge”。为了将图像区块与另一幅图像进行匹配,我们将两个类结合起来(b),并使用它们来掩盖原始图像(c)。这将区块匹配问题减少到包含果实的区域。

 

  图7 基于地理参考图像坐标的图像选择,目标是使所选图像之间的重叠最小。

 

  图8 垂直重叠图像的匹配比较。左边的图像显示的是手动参考匹配,而右边显示的是使用我们的方法进行的匹配。

 

  图9 两张照片显示的是同一株植物在垂直拍摄定位系统中的位置。(a)显示去叶前的植株,(b)显示无叶的植株。只有一小部分被叶子覆盖的果实。

 

  图10 两幅图都显示了半最小修剪树篱系统中的同一株植物。(a)显示去叶前的植株,(b)显示无叶的植株。大多数果实,可以看到的右边是不可见的,在左边由于叶遮挡。

 

  图11 2019年和2020年垂直拍照定时系统(vertical shoot positioned system,VSP)叶片遮挡实验的细节。左边显示的是去叶前(黄色)和去叶后(紫色)的果实数量。右边显示的是可视果实的增加百分比,分别为紫色。

 

  图12 2019年和2020年半最小修剪树篱(semi minimal pruned hedge,SMPH)叶片遮挡实验的细节。左边显示的是去叶前(黄色)和去叶后(紫色)的果实数量。右边显示的是可视果实的增加百分比,分别为紫色。

 

  图13 该图显示了VSP在季节结束时可视果实的数量与产量的关系。橙色星星代表2018年观测到的植物,蓝色+代表2019年观测到的植物,紫色圆圈代表2020年观测到的植物。

 

  图14 左边的图显示了SMPH在季节结束时可视果实的数量与产量的关系。橙色星星代表2018年观测到的植物,蓝色+代表2019年观测到的植物,紫色圆圈代表2020年观测到的植物。右侧显示了从可见果实数量估计产量与参考产量之间的相关性。

 

  图15 实际产量与预测产量的相关性。

 

  来源:Laura Zabawa, Anna Kicherer, Lasse Klingbeil, Reinhard Töpfer, Ribana Roscher, Heiner Kuhlmann, Image-based analysis of yield parameters in viticulture. Biosystems Engineering, 2022, 218: 94-109.

  

  编辑:王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。