植物的植株结构是影响作物产量和品质的重要因素，例如，棉花的植株结构会影响纤维质量和皮棉产量。尽管植株结构很重要，但手动提取植株结构特征是费时、枯燥且易错的。与传统的机器学习方法相比，深度学习方法无需人工设计，可自动从数据中学习特征，提高相似形状植物的分割性能。最近，遥感和植物表型学界开始研究用于植物部位分割的3D深度学习方法。例如，通过Pointnet、pointnet++、DGCNN和PointCNN等3D深度学习网络直接分割花、叶和茎，提取玫瑰灌木和黄瓜植株的结构性状。这些研究包括将点云划分为块，并将它们作为单独的点云进行训练，训练时将每个块视为独立样本，且不考虑不同块之间的关系。在一些植物中，茎和分枝类似于管状，在局部块状中很难区分，因此，整个点云的全局信息对于区分主干和分支是有用的。以往的大部分研究要么只分割形状不同的植株部位，要么只分割形状相似的植株部位(茎和枝)，耗时较长。基于此，本文旨在利用点体素卷积神经网络 (PVCNN)对两个形状相似的部位(主茎和分枝)和一个形状不同的部位(棉铃)进行端到端的高效分割。

 

本研究应用3个三维深度学习模型（Pointnet, pointnet++，PVCNN）和一种新型3D数据注释工具（PlantCloud）对棉花植株的主茎、分枝和铃进行分割，并提取结构特征。这对棉花来说尤其重要，因为其生长习性比大多数主要作物品种都要复杂。在植物部位分割和性状提取的数据处理管道中有五个主要组成部分。第一，三维数据采集；第二，对输入点云进行预处理；第三，应用三维深度学习对植株部位进行分割；第四，将预测的片段后处理。第五，提取7个结构特征（主茎粗、主茎高、节数、分枝数、铃数、分枝倾角和分枝直径）。结果表明，与Pointnet和pointnet++相比，PVCNN获得了最好的mIoU(89.12%)和准确率(96.19%)，平均预测时间为0.88s，在7个从分割部分衍生的结构特征上，R2值大于0.8，平均绝对百分比误差小于10%。PVCNN在分割精度和高效推断时间方面在三种模型中最优。从后处理分割结果中得到的结构特征与地面真实值具有很强的相关性。总体而言，植物部位分割和结构特征提取有前景，可用于自动化植物表型和生理研究。

 

表1不同3D标注工具的比较

 注：(a) Sustech；(b) Rviz点云注释；(c)语义分割编辑器；(d) Scalabel；(e)本文的PlantCloud

 

 图1 不同标注工具在不同点云分辨率下的内存消耗

 

表2 测试数据集中三个深度学习网络的分割结果

 注：粗体数字表示相应类别的最佳结果

 

 图2：a. Pointnet；b. Pointnet++；c. PVCNN在训练步骤中的损失曲线。浅橙色的曲线表示实际损失值。亮橙色的曲线表示损失值的移动平均值。

 

图3 三种深度学习模型的分段点云与地面真实值的比较。a. PVCNN；b. pointnet++；c. pointnetc；d. 地面真实值的预测片段。主茎，分支，棉铃分别用红色，绿色和蓝色表示。子图(i - iv)代表了测试集中的四个代表性样本。比例尺以米为单位表示距离。

 

 图4 进行后处理过的PVCNN预测片段可视化。主茎、分枝和铃的部分用红色、绿色和蓝色表示。a-d表示测试集中的四个随机样本。

 

图5 主茎性状提取及与地面真实值的相关性。a. 来自测试集的后期处理样本，主茎、分枝和铃分别以红色、绿色和蓝色分割；b. 主杆高度估算及底部1 cm区域选择；c. 对xy平面上投影点的圆拟合；d-e. 从预测段和地面真值段中提取的主茎直径和高度的相关性。

 

图6 分支和节点特征提取及与地面真实值的相关性。a. 分支检测，检测到的分支以黑点显示；b. 节点检测，检测到的节点以黑点显示；c-d. 从预测段和地面真值段中提取的分支数与节点数的相关性，表示9个样本的结果(具有重复的地面真实值和预测值的样本在图中表示为单个数据点)。

 

图7 分支倾角(度)和直径(cm)估算及与地面真实值的相关性。a. 为分支倾角及各分支直径规格；b-c 表示从地面真实值和预测段提取的分支倾角和直径的相关性 (每个分支作为单独的样本) 。

 

 图8 铃数提取及与地面真实值的相关性。a分节的棉铃用蓝色表示；b棉铃预测的聚类结果，每种颜色代表一个簇；c从真实地面提取的铃数与预测段的相关性；d离群群中预测铃数与实际铃数(人工计数)的相关性。

 

图9 三种3D深度学习模型的平均IoU与实测延迟

 

 图10 分支检测的少数错误情况，圆形标记表示检测到的分支。a. 由于错误预测铃区而错误检测到分支(底部圆形标记)；b. 附近多个分支被检测为一个分支；c. 由于分支区域预测错误，漏检分支。

 

 

图11 二维视图下分支倾角预测。a. 植株的正面视图；b. 分支远离摄像机；c. 分支向摄像机方向倾斜

 

图12 手动提取结构特征与基于深度学习的主茎、分枝和棉铃分割特征的比较。a. 分割精度；b. 时间消耗(秒)vs平均loU(%)。

 

 图13 PVCNN各阶段预测时间消耗(秒及占总时间消耗的百分比)

 

图14 分割和特征提取工作流程。数据采集、预处理、深度分割、后处理和特征提取五个阶段依次进行

 

图15 采集到的棉花点云实例。顶部一行表示在室外场地环境中就地收集的植物数据，底部一行表示在室内环境中收集的数据。

 

 图16 在屏幕上绘制植物点云的坐标系。O, W, C, I分别表示物体，世界，相机和图像坐标系

 

 图17 三维点云数据注释工具PlantCloud软件用户界面

 

 图18 输入样本点云的数据预处理步骤。a. 输入点云；b. 去噪点云；c. 标记点云；d. 归一化点云；e. 向下采样点云。

 

图19 Pointnet架构。网络以n个点为输入，进行特征提取。然后，通过最大池化聚合点特征，并连接到每个点的输出分数。FC是在每个点上操作的全连接层。T1和T2是输入点和特征的变换网络。

 

 图20 Pointnet++架构。应用3个集合抽象层（SA），然后是MLP层。生成的特征使用最大池化进行聚合，并使用四个特征传播层(FP)进行插值，最后的MLP层用于输出每个点的分数。

 

 图21 点体素卷积神经网络（PVCNN）架构。a. PVConv层输入体素化3D卷积，精简聚合特征映射点，基于点和体素的特征融合形成输出。b. PVCNN网络以n个点作为输入，采用PVConv和FC层，通过最大池化聚合点特征，并连接到每个点的输出分数。

 

 

图22 分支特征提取。a. 主茎分节，分支点距主茎6厘米以内；b. 选择分支点的聚类，每种颜色代表一个检测到的分支；c. 选择分支应用主成分分析，红色向量表示分支方向的主成分；d. 所选分支的垂直对齐；e. 点在xy平面上的投影和圆拟合。

 

 

来 源

Saeed F, Sun S, Rodriguez-Sanchez J, et al. Cotton plant part 3D segmentation and architectural trait extraction using point voxel convolutional neural networks[J]. Plant Methods, 2023, 19(1): 1-23.

 

 

编辑

陈秋

 

 

扩展阅读

• 植物表型资讯2018年1-12月目录汇总
• 植物表型资讯2019年1-12月目录汇总
• 植物表型资讯2020年1-12月目录汇总
• 植物表型资讯2021年1-12月目录汇总
• 植物表型资讯2022年1-12月目录汇总
• 植物表型资讯2023年1-12月目录汇总
• 植物表型资讯分类专辑直通车
• 最畅销的田间表型平台长什么样？