三维 （Three-dimensional，3D） 植物表型分析技术可有效测量器官水平的性状，并为育种者提供详细的植物生长信息。在苹果树育种中，结构性状可以决定光合作用效率并表征树木的发育阶段。本研究的总体目标是开发一种基于深度学习的器官级实例分割方法，以量化苹果树的 3D 建筑特征。本研究利用 PointNeXt 对苹果树点云进行语义分割，将它们分为树干和树枝，并将其性能与几个竞争模型进行基准测试，包括 PointNet、PointNet++ 和 Point Transformer V2 （PTv2）。引入了一种基于圆柱体的约束方法来优化语义分割结果。接下来，使用基于密度的应用程序空间聚类与噪声（Density-based spatial clustering of applications with noise，DBSCAN）算法识别分支。3D 骨架顶点的类型决定了群集是表示单个分支还是多个分支。如果有多个，则基于图形的技术会进一步将它们分开。本研究还将实例分割模型 SoftGroup++ 直接应用于苹果树点云，并在苹果树数据集上分析了分割结果。最后，提取了苹果树的 7 个结构特征，包括树的高度、体积和冠宽，以及树干的高度和直径，以及枝条的长度和数量。实验结果表明，PointNet、PointNet++、PTv2 和 PointNeXt 的后处理 mIoU 值分别为 0.8495、0.8535、0.9500 和 0.9481。基于 SoftGroup++ 和 PointNeXt 的最终实例分割结果分别实现了 0.815 和 0.842 的mAP_50。对于树高、树干长径、枝长和枝条数等性状，基于 PointNeXt 的方法实现了 R2值为 0.987、0.788、0.877、0.796 和 0.934，平均绝对百分比误差分别为 0.86 %、2.17 %、5.93 %、10.24 % 和 13.55 %。PTv2 和 SoftGroup++ 的分割结果也用于提取苹果树的表型性状，获得与 PointNeXt 相当的结果。所提出的方法展示了一种提取苹果树结构特征的成本效益和准确的方法，这将有利于苹果育种计划以及苹果园的精确管理。

图1  3D苹果树部分分割和特征提取流程。整个过程首先将一棵苹果树分割成树枝和树干，然后将树枝分割成各个部分，最后提取每个部分的表型特征。（a） 原始点云。（b） PointNeXt的语义分割结果。（c） 修正了分割结果。（d） DBSCAN聚类。（e）基于拉普拉斯算子的骨架提取。为每个簇提取骨架，并根据邻居的数量对顶点进行分类。（f） 包含多个分支的骨架。（g） 基于图的骨架分解。（h） 实例分割结果。

图2  数据收集位置和方法概述。（a）实验现场。（b）从苹果树一侧采集数据的方法。（c）Kinect V2传感器用于数据收集。（d）RGB图像和苹果树对应点云的示例输出。

图3  点云数据的预处理步骤序列。（a）原始点云。（b）删除地平面后裁剪的点云。（c）去噪后增强点云。（d）分割和注释：颜色编码清晰，蓝色表示树干，红色突出显示树枝。

图4  PointNeXt架构。该模型由编码器和解码器组成。编码器使用集合抽象（set abstraction，SA）块分层抽象点云的特征，而解码器则通过相同数量的特征传播（feature propagation，FP）块逐步插值抽象的特征。反向残差MLP（Inverted Residual MLP，InvResMLP）块紧随每个SA块之后，以实现模型缩放。

图5  使用圆柱约束对点云分割结果进行后处理。（a）初始语义分割结果示例。（b）躯干类的质心确定，用红色圆圈突出显示。（c）圆柱体建模显示了躯干（蓝色）、其装配线（红色）和构造的圆柱体（绿色）。（d）更正了语义分割结果。

图6  分支实例分割流程。d1表示从顶点1到主干的距离，d2表示从顶点2到躯干的距离。

图7  DBSCAN聚类后区分点云中的单分支和多分支。（a）单分支。（b） 单分支，有分支。（c） 多个分支。粉红色是终端顶点。蓝色是关节顶点。绿色是连接顶点。所有顶点都由粉红色边连接。

图8  基于图论的骨架分解。（a）点云骨架。粉色顶点表示只有一个邻居。绿色顶点表示它有两个邻居。蓝色顶点表示两个以上的邻居。（b）由分支骨架生成的有向图。（c）有向图分解。图中的圆圈顶点表示此处的断开连接。

图9  表型性状量化方法。（a）使用凸包进行体积估计。（b）凹形的体积测量。（c）通过体素进行体积分析：红色网格表示存在点云，而绿色网格表示不存在点云。（d）评估树干高度和直径。（e）使用主成分分析（principal component analysis，PCA）确定分支长度。（f）通过定向边界框（oriented bounding box，OBB）确定植物高度和冠宽。

图10  不同模型的语义分割结果的可视化。每一行代表一棵苹果树样本。绿色的点代表树枝，深色的点代表树干。

图11  后处理语义分割结果。第一行显示PointNet，第二行显示PointNet++，第三行显示PointNeXt。

图12  实例分割可视化。（a） （b）和（c）是JSIS3D的分割结果，（d）、（e）和（f）是SoftGroup++的分割结果。其中，黑点表示分割错误。（g） （h）和（i）是提出的方法。每个器官都被分配了不同的颜色。

图13  苹果树体积和树冠大小评估。（a） 基于凸包法的苹果树体积估计。（b） 基于凹形和体素方法的苹果树体积估计。（c） 根据点云估算的树冠大小。E-W代表东西方向的冠尺寸。N-S代表南北方向的冠部尺寸。

图14  苹果树结构特征的线性回归分析。每行显示每个模型的结果，每列显示每个性状的结果。

图15  树干直径与树高的线性回归分析。（a） 树干直径。（b） 树的高度。

图16  基于骨架提取的苹果树点云实例分割。（a） （c）是实例注释，（b）和（d）是实例预测结果。不同的颜色代表不同的实例。

图17  SoftGroup++实例分段错误分析。（a） 实例分割结果和偏移坐标。移动坐标的颜色对应于苹果树器官实例的颜色。（b） 一个分支被分割成多个实例。