植物生长表型的研究提高了对复杂遗传性状的认识，最终促进了现代育种和智能农业的发展。在表型方面，分割叶片、茎等植物器官的三维点云有助于植物的自动生长监测，反映植物受到的胁迫程度。在这项工作中，我们首先提出了体素化最远点采样(Voxelized Farthest Point Sampling，VFPS，图1)，一种新的点云下采样策略，以准备我们的植物数据集用于深度神经网络的训练。然后，设计了一个深度学习网络- PSegNet(图2)，用于分割几种植物的点云。PSegNet的有效性来源于三个新的模块，分别是双邻域特征提取块(Double-Neighborhood Feature Extraction Block，DNFEB，图3)、双粒度特征融合模块(Double-granularity Feature Fusion Module，DGFFM)和注意模块(Attention Module，AM)。本研究中使用的植物点云数据来源于激光扫描点云数据集(https://data.mendeley.com/datasets/9k7zctdyhs/1)。该数据集记录了在不同环境下生长的三种作物，包括番茄、烟草和高粱。每个作物在30天内被扫描多次。在图4中展示了不同生育期的三种作物。PSegNet网络对VFPS编制的植物数据集进行训练后，可以同时实现三种植物的语义分割和叶片实例分割(图5和图6)。

　　与PointNet++、ASIS、SGPN、PlantNet等几种主流网络相比，PSegNet在定量和定性上都获得了最好的分割结果。在语义分割方面，PSegNet对Prec、Rec、F1和IoU的均值分别达到95.23%、93.85%、94.52%、89.90%(图7)。在实例分割中，PSegNet对mPrec、mRec、mCov和mWCov分别达到88.13%、79.28%、83.35%和89.54%(图8)。

　　图1 VFPS策略示意图。最左边的点云(a)是原始烟草点云，总共包含373,397个点。首先，我们为下采样点云设置一个数字对象，例如N=4096。然后将带参数的VBS应用于原始点云，形成包含10955体素的点云(b)。每个体素由体素中点的重心表示，并在(c)中放大一个体素示例。最后，最远点取样(Farthest Point Sampling，FPS)被应用于这个临时体素化的点云，以生成精确的4096个点的最终结果(d)。

　　图2 PSegNet的架构。网络主要由三部分组成。在深度学习中，前端具有典型的类编码器结构。前部分计算采用连续4个双邻域特征提取块，在每个DNFEB前分别对特征空间进行下采样，对特征进行压缩。中间部分为双粒度特征融合模块，将不同特征粒度的两个解码器的输出进行融合，得到混合特征。在PSegNet的第三部分，特征流分为两个方向，分别对应两个任务-实例分割和语义分割。空间注意机制和通道注意机制依次应用于每个特征流。

　　图3 DNFEB。DNFEB的特征尺寸随其在PSegNet中的位置而变化，在图中只显示了第4个DNFEB的特征尺寸。标准的DNFEB包括三个相似的阶段。图的下半部分放大了第1阶段的计算过程。在阶段1中，对于特征空间中的任意点i，我们分别在初始XYZ空间和当前特征空间中找到它的k个最近的邻居。其次，对XYZ空间中的k近邻进行位置编码，形成局部区域的低级特征编码; 同时，通过EdgeConv运算计算当前特征空间的k近邻，得到高阶邻域特征集。最后，在连接低级和高级局部特征后，计算细心池运算后输出当前点i的新特征向量。

　　图4 数据集中的点云示例。第一行分别为同一株烟草连续6个生长期的点云;第二行为同一株番茄连续6个生长期的点云;最后一行是同一株高粱连续6个生长期的点云。

　　图5 定性演示PSegNet语义分割。第一行分别为4个不同烟草个体的语义分割结果。第二行分别为四种不同番茄植株的语义分割结果。最后一行分别是四种不同高粱植物的语义分割结果。从PSegNet中分割出的每个作物点云与其对应的地面真实值(Sem.GT)进行比较。不同呈现颜色的含义显示在图的左侧。一些区域被放大以提供更多的细节。

　　图6 实例分割的定性演示。第一行分别给出了四种不同烟草个体的实例分割结果。第二行为4个不同番茄个体的实例分割结果。最后一行分别为4个不同高粱个体的实例分割结果。从PSegNet中分割出的每个作物点云与对应的地面真实值(Ins.GT)进行比较。注意，图中呈现的不同颜色只是为了更好地区分不同实例，与实例标签没有关系。因此，即使分割成功，同样的叶子在实际中和实例分割中可能会被渲染成两种不同的颜色。一些区域被放大以提供更多的细节。

　　图7 三个物种的定性语义分割比较。DGCNN和pointnet++与PSegNet进行了比较。分割错误的部分分别用红色虚线圈突出显示。DGCNN和pointnet++在两个不同的点类之间的边界附近都有多个预测误差。

　　图8 三个物种的定性实例分割比较。第一行是烟草植株，第二行是番茄植株;最后一行是高粱。并将PlantNet和ASIS与我们的PSegNet进行了比较。注意，图中呈现的不同颜色只是为了获得更好的视觉效果，这些颜色与实例标签没有关联。分割错误的部分分别用红色虚线圈突出显示。PlantNet和ASIS在叶片实例边界附近都存在多个预测误差。

　　来源：Dawei Li, Jinsheng Li, Shiyu Xiang, and Anqi Pan. PSegNet: simultaneous semantic and instance segmentation for point clouds of plants. Plant Phenomics, 2022, 9787643.

　　编辑：王春颖