点云分割对于研究植物三维空间特征至关重要。值得注意的是，分割的准确性对后续三维植物表型提取和三维植物重建有很大影响。植物点云的自动化分割方法是实现三维植物表型大数据处理的瓶颈。本研究以玉米为代表作物，开发了一种集成高通量数据采集和深度学习的植物点云分割技术DeepSeg3DZeary。使用单个植物的高通量数据采集平台和包含515个自交系的关联分析小组构建训练数据集。具体来说，MVS-Pheno平台用于获取高通量数据，Label3DMaize用于点云数据的标注，并基于该数据集，引入PointNet来实现茎叶和器官实例的分割，并提取了六个表型。结果表明，茎叶分割的平均精度和F1分数分别为0.91和0.85，器官实例分割的平均精度和F1分数分别为0.94和0.93。从分割结果中提取的六个参数(叶长、叶宽、叶倾角、叶生长高度、株高和茎高)与测量值的相关性分别为0.90、0.82、0.94、0.95、0.99和0.94。高通量数据采集、自动器官分割和表型数据提取形成了一个自动表型数据处理流程，这对于处理大量的初始数据是很实用的。此外，它为个体植物层面的三维表型特征自动分析提供了系统的参考。

　　图1 方法流程图。(a) 使用MVS-Pheno表型平台对玉米嫩枝进行高通量数据采集。(b) 点云预处理，包括点云下采样和归一化。(c) 使用Label3DMaize软件进行数据注释和数据集构建。(d) 用PointNet进行茎叶和器官实例分割的训练。(e) 利用器官实例分割的结果提取表型。

　　表1 训练和测试集组成

　　图2 用于分割的PointNet模型的结构。在这种情况下，T-Net是一个空间转换的矩阵预测网络，用于估计预测矩阵。MLP代表多层感知器，括号里的数字是层的大小。该网络将点云作为输入，应用输入和特征转换，然后通过最大池化将点特征聚合起来。在上图中，T1和T2表示不同的T-Net处理，对应于箭头所示的两个黄色虚线框。MLP结构由向下的箭头所示的蓝色虚线框表示。

　　图3 特征提取的示意图。

　　图4 基于器官实例分割结果的表型参数提取示意图。

　　图5 模型的茎叶语义分割和器官实例分割的训练损失。

　　图6 使用DeepSeg3DMaize数据对测试集中不同生长阶段的代表性数据进行茎叶语义分割结果的可视化。使用Label3Dmaize软件的精细分割结果显示在每个子图的左边，而使用DeepSeg3DMaize的分割结果则显示在中间。每种植物中具有不同分割结果的点被染成绿色，显示在每个子图的右边。茎上的点用黑色表示，叶上的点用红色表示。植物(a)-(j)上的叶子数量从3片增加到12片。

　　表2 DeepSeg3DMaize对测试集的茎叶和器官实例分割的准确性评估。

　　图7 使用DeepSeg3DMaize代表数据的器官实例分割结果的可视化，这些数据来自测试集的不同生长阶段。使用Label3Dmaize软件的精细分割结果显示在每个子图的左边，而使用DeepSeg3DMaize的分割结果则显示在右边。茎上的点云以黑色显示，而叶子的点云被分解到每个实例中，以不同的颜色显示。图中(a)-(j)的植物上的叶子数量从3增加到12。

　　图8 基于DeepSeg3DMaize点云分割提取的表型参数与测量值的比较。(a)叶长，(b)叶宽，(c)叶倾角，(d)叶生长高度，(e)株高，(f)茎高。

　　来源：Li Y, Wen W, Miao T, et al. Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning[J]. Computers and Electronics in Agriculture, 2022, 193: 106702.

　　https://doi.org/10.1016/j.compag.2022.106702

　　编辑：小王博士在努力