葡萄藤表型是确定葡萄串和浆果的物理特性(例如大小、形状和数量)的过程。葡萄藤表型信息为监测葡萄藤的卫生状况提供了有价值的特征。在发育的早期阶段了解葡萄串和浆果的数量和尺寸，可以为葡萄种植者提供有关收获产量的相关信息。然而，计数和测量的过程通常是人工完成的，既费力又费时。先前的研究试图在去除叶子的葡萄园中对红色葡萄串实施大量检测，并且已经使用地面车辆和手持相机进行了调查。然而，安装有RGB摄像头的无人机(UAV)以及计算机视觉技术提供了一种廉价、稳健且省时的替代方案。因此，多目标跟踪和分割(MOTS)在这项研究中被用来确定单个白葡萄串和浆果的特征，这些特征来自从一架无人机获得的RGB视频，该无人机是在一个具有高密度叶子的商业葡萄园上获得的。为了实现这一目标，创建了两个带有标记图像和表型测量的数据集，并在公共存储库中提供。使用PointTrack算法来检测和跟踪葡萄串，并比较了两种实例分割算法——YOLACT和空间嵌入——以找到最适合检测浆果的方法。已经发现，对于MODSA为93.85的聚类检测，该检测执行得足够好。对于跟踪，当用679帧训练时，结果是不够的。这项研究为提取国际葡萄与葡萄酒组织(OIV)描述符描述的几种葡萄表型特征提供了一个自动化管道。所选的OIV描述符是果串长度、宽度和形状(分别为代码202、203和208)以及浆果长度、宽度和形状(分别为代码220、221和223)。最后，关于每串检测到的浆果数量的比较表明，空间嵌入对浆果计数的评估(79.5%)比YOLACT (44.6%)更准确。

本研究的目的是通过应用实例分割模型和用无人机获得的RGB视频，在早期阶段获得检测到的葡萄串和浆果的表型特征的测量值。这项研究是在一个出现叶片遮挡的商业葡萄园中进行的。均匀的背景（绿色植被墙上的绿色浆果）和高日照条件是检测浆果和浆果的挑战性因素。建议的工作流程输出检测到的葡萄串和浆果噪音及其尺寸测量值(长度、宽度和形状)以及这些描述符的国际葡萄和葡萄酒组织(OIV)水平，这对产量预测的早期评估非常重要。此外，还提供了与地面真实测量值相比较的浆果计数评估。空间嵌入被证明比YOLACT (44.6%)更准确地评估浆果计数(79.5%)。这项工作对于早期葡萄园评估很有意思，因为红葡萄和白葡萄在早期阶段非常相似。对于未来的工作，不仅要关注计算机视觉任务，还要关注数据采集，以优化之。本研究中使用的包含无人机RGB视频和MOTS葡萄串注释的数据集可在线获得，以提高该领域的可重复性和未来工作。

图1本研究的工作流程图。所有程序的共同分支(白色部分)包括使用无人机获取数据集，以及对束和浆果进行后期清洗和注释。红色的是葡萄串检测和跟踪程序。蓝色代表浆果的发现。最后，再次白色，因为它是一个共同的分支，研究的输出，被束和浆果表型性状和OIV描述符的自动提取。

图2  左图:伊比利亚半岛上葡萄园的位置(坐标WGS84)。右图:葡萄园中第4、6、7和8行的位置(坐标在ETRS89 / UTM区29 N)。

图3用CVAT软件制作的注释示例。左图:用于检测和跟踪的葡萄串数据集。右图:用于检测的berry数据集。

图4  OIV代码202(束长度)和203(束宽度)。

图5 正确检测浆果的空间嵌入过程。在右侧，放大的快照可以更好地显示在检测浆果的过程中发生的每个步骤。

图6  葡萄串尺寸(长度、宽度和形状)的基础真实测量值和使用两种方法(1-基于掩模尺寸获得表型性状，和2-旋转掩模到串的最大长度并获得旋转后的尺寸)的预测测量值之间的相关性。