学术中心
基于稀疏卷积的高分辨率番茄幼苗点云语义分割方法
发布时间:
2025-03-27
来源:
作者:
茎叶水平三维(three-dimensional,3D)植物点云的语义分割是高通量番茄表型系统的基础和不可或缺的。然而,现有的语义分割方法往往存在精度低、推理速度慢等问题。为了应对这些挑战,提出了一种创新的编码解码结构,结合体素稀疏卷积(sparse convolution,SpConv)和基于注意力的特征融合(voxel sparse convolution and attention-based feature fusion,VSCAFF)来增强高分辨率番茄幼苗图像点云的语义分割。将Pheno4D数据集中标记为“叶”、“茎”和“土壤”语义类的番茄幼苗点云应用于语义分割。为了减少参数数量以进一步提高推理速度,SpConv模块被设计为通过骨架卷积核和正则卷积核的残差级联来工作。基于注意力机制的特征融合模块是通过给体素扩散特征和点特征赋予相应的注意力权重来设计的,除了抑制噪声外,还可以避免扩散模块引起的具有相同特征的不同语义点的歧义。最后,为了解决点云类分布不均导致的模型训练类偏差问题,引入Lovász Softmax和加权交叉熵的复合损失函数来监督模型训练并提高其性能。结果表明,VSCAFF的mIoU为86.96%,分别优于PointNet、PointNet++和DGCNN的性能。VSCAFF的IoU在土壤类中达到99.63%,在茎类中达到64.47%,在叶类中达到96.72%。在推理速度上,35ms的时延优于PointNet++和DGCNN。结果表明,VSCAFF在高分辨率番茄点云语义分割方面具有较高的性能和推理速度,可以为番茄植株的高通量自动表型分析提供技术支持。
图1 番茄幼苗点云和点云被标记为“叶”、“茎”和“土壤”的语义类。
图2 网络的结构。
图3 基于SpConv的编码解码架构。
图4 三种卷积核结构。
图5 基于注意力的特征融合方法。
图6 番茄植株点云的语义分割。注1: GT代表地面实况。注2: 在四个离散的日子里扫描了四个幼苗点云。
Li, S.; Yan, Z.; Ma, B.; Guo, S.; Song, H. Semantic Segmentation Method for High-Resolution Tomato Seedling Point Clouds Based on Sparse Convolution. Agriculture 2025, 15, 74.
编辑
王春颖
推荐新闻
视频展示