学术中心
3D-NOD: 通过时空点云深度分割框架检测三维植物生长中的新器官
发布时间:
2025-05-12
来源:
作者:
自动化植物生长监测是现代农业中的一项重要任务,有助于保持高作物产量并促进育种进程。随着3D传感技术的进步,3D点云数据相比图像更适合呈现植物生长信息,因为新器官在3D空间中更易识别,而在2D图像中被遮挡的器官也能在3D空间中便捷地分离。尽管具有上述优势,3D数据分析仍然具有相当的挑战性。本文提出了3D-NOD框架,通过时空点云深度语义分割技术,从时序植物数据中检测新器官。3D-NOD框架的设计灵感来源于经验丰富的人类如何利用时空信息识别植物在不同生长阶段的生长芽。在训练阶段,通过引入反向和正向标注(Backward & Forward Labeling)、配准和混合(Registration & Mix-up)以及类人数据增强(Humanoid Data Augmentation)步骤,我们的主干网络能够在时空域中识别出与器官相关的生长事件。在测试阶段,与传统的使用网络直接进行语义分割的方法相比,3D-NOD在新器官分割方面表现出了更高的灵敏度。在一个包含多物种的时序数据集上,我们的方法在使用DGCNN主干网络进行新旧器官检测时,平均F1值为88.13%,平均IoU为80.68%。
图1 传统新器官检测框架与我们时空框架的新器官检测简要对比。(a)为传统方法,(b)为我们的方法。传统方法由于网络在不平衡类别下进行训练,导致检测灵敏度较低。
图2 我们用于生长事件检测的详细3D-NOD框架。(a)为训练流程,(b)为测试流程。绿色点表示旧器官,紫色点表示新器官。测试流程可以接受时序数据或单株植物点云作为输入。
图3 用于标注生长事件的反向和正向标注(BFL)(以“新器官”为例)在训练数据中的应用。(a)为植物点云的原始时序数据;(b)为新器官的反向标注结果;(c)为正向标注结果;(d)为最终的组合结果。请注意,BFL仅用于准备训练数据。网络训练完成后,生长事件可以通过将相邻植物的时序数据或单株植物点云输入网络来轻松检测。
图4 类人数据增强(HDA)技术。人工标注员将两个相邻的点云在时间轴上对齐,并通常执行三种操作来检查它们之间的差异。HDA通过模仿人工标注习惯,对单个点云进行总旋转(步长为36度)、随机旋转和位移操作。每个经过RMU处理后的混合点云将最终通过HDA增强10次用于训练。
图5 用于新器官检测的DGCNN主干网络架构。(a)展示了用于理解点云旋转和平移的空间变换模块(Spatial Transform);(b)展示了用于提取深层特征的边卷积(EdgeConv)模块,该模块使用多层感知器(MLP)。
图6 来自我们时空数据集的部分示例。(a)为烟草点云系列,(b)为番茄点云系列,(c)为高粱点云系列。
图7 我们框架在基础数据集上对生长事件进行的部分定性分割结果。(a)为番茄测试序列的连续分割结果;(b)为烟草序列的分割结果;(c)为高粱序列的分割结果。
图8 番茄植物序列中两种推理方法的定性比较。
图9 烟草植物序列中两种推理方法的定性比较。
图10 高粱植物序列中两种推理方法的定性比较。
Li D, Ahmed F, Wang Z. 3D-NOD: 3D New Organ Detection in Plant Growth by a Spatiotemporal Point Cloud Deep Segmentation Framework[J]. Plant Phenomics, 2025: 100002.
编辑
王永贤
推荐新闻
视频展示