基于稀疏卷积的高分辨率番茄幼苗点云语义分割方法


发布时间:

2025-03-27

来源:

作者:

茎叶水平三维(three-dimensional,3D)植物点云的语义分割是高通量番茄表型系统的基础和不可或缺的。然而,现有的语义分割方法往往存在精度低、推理速度慢等问题。为了应对这些挑战,提出了一种创新的编码解码结构,结合体素稀疏卷积(sparse convolution,SpConv)和基于注意力的特征融合(voxel sparse convolution and attention-based feature fusion,VSCAFF)来增强高分辨率番茄幼苗图像点云的语义分割。将Pheno4D数据集中标记为“叶”、“茎”和“土壤”语义类的番茄幼苗点云应用于语义分割。为了减少参数数量以进一步提高推理速度,SpConv模块被设计为通过骨架卷积核和正则卷积核的残差级联来工作。基于注意力机制的特征融合模块是通过给体素扩散特征和点特征赋予相应的注意力权重来设计的,除了抑制噪声外,还可以避免扩散模块引起的具有相同特征的不同语义点的歧义。最后,为了解决点云类分布不均导致的模型训练类偏差问题,引入Lovász Softmax和加权交叉熵的复合损失函数来监督模型训练并提高其性能。结果表明,VSCAFF的mIoU为86.96%,分别优于PointNet、PointNet++和DGCNN的性能。VSCAFF的IoU在土壤类中达到99.63%,在茎类中达到64.47%,在叶类中达到96.72%。在推理速度上,35ms的时延优于PointNet++和DGCNN。结果表明,VSCAFF在高分辨率番茄点云语义分割方面具有较高的性能和推理速度,可以为番茄植株的高通量自动表型分析提供技术支持。

 

 图1  番茄幼苗点云和点云被标记为“叶”、“茎”和“土壤”的语义类。

 

图2  网络的结构。

 

图3  基于SpConv的编码解码架构。

 

图4  三种卷积核结构。

 

图5  基于注意力的特征融合方法。

 

图6  番茄植株点云的语义分割。注1: GT代表地面实况。注2: 在四个离散的日子里扫描了四个幼苗点云。

 

来 源

Li, S.; Yan, Z.; Ma, B.; Guo, S.; Song, H. Semantic Segmentation Method for High-Resolution Tomato Seedling Point Clouds Based on Sparse Convolution. Agriculture 2025, 15, 74. 

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。