学术中心
PLANEST-3D:用于分割3D植物点云的新注释数据集
发布时间:
2024-10-03
来源:
作者:
创建新的注释公共数据集对于帮助3D计算机视觉和机器学习的进步充分发挥其自动解读3D植物模型的潜力至关重要。在本文中,我们介绍了PLANesT-3D一个新的植物三维彩色点云注释数据集。PLANesT-3D由34个点云模型组成,代表了来自三个不同植物物种的34种植物:它们分别是辣椒、月季和红茶藨子。以"叶"和"茎"为单位的语义标签以及器官实例标签都是对完整点云人工标注的。作为额外贡献,SP-LSCnet是一种新型语义分割方法,它结合了无监督超级点提取和基于三维点的深度学习方法,并在新数据集上进行了评估。此外,还在PLANesT-3D的点云上测试了两个现有的深度神经网络架构PointNet++和RoseSegNet,以进行语义分割。
表1包含植物完整3D模型的公共数据集与本工作中介绍的PLANesT-3D数据集的比较
图1 231张辣椒植物图像(a)、240张月季植物图像(b)和177张红茶藨子植物图像(c)的估算的相机位置。还提供了辣椒(d)、月季(e)和红茶藨子(f)的样本图像
表2 用于重建 3D 植物点云的图像数量
图2 通过Agisoft Metashape Professional重建的月季植物(a)和红茶藨子植物(c)的原始点云。相应的点云图只包括目标植物的三维点,(b)为月季,(d)为红茶藨子
图3 PLANesT-3D数据集的三个模型,分别使用植物颜色(a)、置信度图(B)、语义标签(c)和实例标签(d)渲染
表3PLANesT-3D中点云的属性
图4 SP-LSCnet的流程图。输入点云首先经过超点提取程序。该过程涉及将3D点嵌入到2D中并将2D点划分为超点。一旦将超点分配映射到3D域,每个超点就独立地通过叶-茎分类网络。超点中的3D点都标记有网络预测的超点的全局类
图5 将CSM和RUM整合到PointNet++ 框架中:a)分类网络,L=1(第一层)的rL设为0.2,L=2(第二层)的rL设为0.4
表4 训练集和测试集的划分
表5 用于训练和测试的点子集的数量
表6 三种方法在PLANesT-3D数据集上的语义分割结果
图6 PointNet++、RoseSegNet 和 SP-LSCnet 对样本辣椒(a)、月季(b)和红茶藨子(c)植物的语义分割结果。第一列对应地面实况
图7 错误示例
Mertoğlu K, Şalk Y, Sarıkaya S K, et al. PLANesT-3D: A new annotated dataset for segmentation of 3D plant point clouds. arxiv preprint arxiv, 2407.21150, 2024.
编辑
王三十
推荐新闻
视频展示