PLANEST-3D:用于分割3D植物点云的新注释数据集


发布时间:

2024-10-03

来源:

作者:

创建新的注释公共数据集对于帮助3D计算机视觉和机器学习的进步充分发挥其自动解读3D植物模型的潜力至关重要。在本文中,我们介绍了PLANesT-3D一个新的植物三维彩色点云注释数据集。PLANesT-3D由34个点云模型组成,代表了来自三个不同植物物种的34种植物:它们分别是辣椒、月季和红茶藨子。以"叶"和"茎"为单位的语义标签以及器官实例标签都是对完整点云人工标注的。作为额外贡献,SP-LSCnet是一种新型语义分割方法,它结合了无监督超级点提取和基于三维点的深度学习方法,并在新数据集上进行了评估。此外,还在PLANesT-3D的点云上测试了两个现有的深度神经网络架构PointNet++和RoseSegNet,以进行语义分割。

 

表1包含植物完整3D模型的公共数据集与本工作中介绍的PLANesT-3D数据集的比较

 

图1 231张辣椒植物图像(a)、240张月季植物图像(b)和177张红茶藨子植物图像(c)的估算的相机位置。还提供了辣椒(d)、月季(e)和红茶藨子(f)的样本图像

 

表2 用于重建 3D 植物点云的图像数量

 

图2 通过Agisoft Metashape Professional重建的月季植物(a)和红茶藨子植物(c)的原始点云。相应的点云图只包括目标植物的三维点,(b)为月季,(d)为红茶藨子

 

图3 PLANesT-3D数据集的三个模型,分别使用植物颜色(a)、置信度图(B)、语义标签(c)和实例标签(d)渲染

 

表3PLANesT-3D中点云的属性

 

图4 SP-LSCnet的流程图。输入点云首先经过超点提取程序。该过程涉及将3D点嵌入到2D中并将2D点划分为超点。一旦将超点分配映射到3D域,每个超点就独立地通过叶-茎分类网络。超点中的3D点都标记有网络预测的超点的全局类

 

图5 将CSM和RUM整合到PointNet++ 框架中:a)分类网络,L=1(第一层)的rL设为0.2,L=2(第二层)的rL设为0.4

 

表4 训练集和测试集的划分

 

表5 用于训练和测试的点子集的数量

 

表6 三种方法在PLANesT-3D数据集上的语义分割结果

 

图6 PointNet++、RoseSegNet 和 SP-LSCnet 对样本辣椒(a)、月季(b)和红茶藨子(c)植物的语义分割结果。第一列对应地面实况

 

图7 错误示例

 

来 源

Mertoğlu K, Şalk Y, Sarıkaya S K, et al. PLANesT-3D: A new annotated dataset for segmentation of 3D plant point clouds. arxiv preprint arxiv, 2407.21150, 2024.

 

编辑

王三十

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。