基于语义嵌入引导的图自注意网络的三维点云植物茎叶分离


发布时间:

2025-10-17

来源:

作者:

随着农业现代化进程的推进,精确的植物表型鉴定(如茎叶分离)在植物智能育种和表型性状提取等领域具有重要意义。尽管深度学习技术在复杂植物结构分割任务中提供了先进的解决方案,但由于特征表示不足和类间可分性低,挑战仍然存在。为了解决这个问题,本文提出了一种语义嵌入引导的图自注意网络,用于从3D点云分离植物茎叶。具体来说,所提出的方法建立在编码器-解码器架构上。随着感受野逐渐增加,首先提取多尺度特征以学习局部几何表示。随后,该方法构建了一个集成图卷积和自注意机制的特征增强模块,通过利用图卷积和自注意机制,在多个尺度上聚合局部和全局信息集,捕捉复杂的几何和拓扑关系,以确保高度描述性和区别性的特征表示。然后,采用分层解码结构,其结合了上采样和特征融合逐步重建高分辨率点云特征表示。最后,将语义感知的区分损失与交叉熵损失相结合,提高了类内紧致度、类间可分性和正则化程度,从而进一步增强了类区分度和分割质量。为了验证所提方法的有效性和可靠性,在公开的Plant-3D和Pheno 4D数据集上进行实验,结果表明,该方法在茎叶分离方面无论从定量还是定性角度都取得了较好性能,在测试数据集上表现出优于现有方法的趋势,精确率提高了3.97%,召回率提高了4.35%,F1分数提高了4.3%,此外,t-SNE可视化和定性比较进一步证实了该模型在特征聚类和结构边界识别方面的优越性。代码可在https://github.com/Ahaoyang1/3D-SemSegRandlAnet公开获得。

 

图1 所提出的方法的概述。左下子图描绘了图形自注意模块的处理流水线。该模块首先基于空间关系构建图形,然后通过自注意机制进行分层特征传播和细化。在此过程中,节点特征X和边属性E跨层演化以提取植物点云的更丰富的结构表示。右子图突出了语义感知的区别性损失在细化特征空间分布中的作用,从而增强了类内紧凑性和类间可分性。

 

 图2  点云网络中的多尺度特征提取和下采样。

 

图3  图的关注度和邻域特征聚合。上半部分说明了跨多尺度邻域的分层消息传递过程,而下半部分描述了应用于中心节点的特征聚合和更新机制。

 

 图4  三种植物的人工标注和一些详细的部分。

 

 图5  在Plant-3D和Pheno 4D数据集上训练总损失、交叉熵损失和判别损失的损失曲线。

 

 图6  Plant-3D数据集上多种方法分割性能的定量比较。

 

 图7  三种植物的茎叶分离结果的定性比较(红色代表叶子,蓝色代表茎)。Embed表示语义感知的区分损失模块,GCN表示GCN自我注意模块,E + G表示两个模块的协作。

 

图8  在Plant-3D数据集上的分割结果和改进效果的比较。子图(d)中的红色区域突出显示了提出的方法优于基线的区域。

  

图9  Pheno4D数据集上多种方法的分割性能的定量比较。

 

图10  Pheno4D数据集上的语义分割结果的定性比较(红色表示叶子,蓝色表示茎)。Embed表示语义感知的区分丢失模块,GCN表示GCN自我注意模块,E + G表示两个模块的协作。

 

 图11  Pheno 4D数据集上的分割结果和改进效果比较。子图(d)中的红色区域突出显示了提出的方法优于基线的区域。

 

 图12  嵌入式学习的可视化分析(右(B和d)来自语义感知的区分性丢失)。

 

 图13  邻域大小K对分割性能的影响。

 

 图14  在多个数据集上比较不同模型的分割性能。Embed表示语义感知的区分损失模块,GCN表示GCN自我注意模块,E + G表示两个模块的协作。黑线表示中值,而橙子线表示平均值。

 

 图15  不同训练集的语义分割结果比较。x轴从左到右表示幼苗、营养生长、成熟、幼苗+营养生长、营养生长+成熟和全周期阶段。

 

 图16  在四个数据集上,所提出的方法和基线之间的精确度-召回曲线比较。

 

 图17  分割结果的置信度分析。(a)显示所有点预测置信度分布的直方图。(B)茎和叶类平均置信度的条形图。

 

 图18  用于数据采集的基于传送带的表型分析平台概述。(a)自动传送带系统上单个小麦植株的成像过程。(B)在多视图图像采集期间重建稀疏点云和相机轨迹。(c)配备RGB和多光谱传感器的成像单元。

 

  图19  对小麦样本进行语义分割的定性结果。图中显示了地面实况(上图)和我们的方法的预测结果(下图)。红色和蓝色分别表示叶和茎区域。

 
来 源

Anhao Yang, Juntao Yang, Haiyang Wu, Zhenhai Li, Bo Bai, Guowei Li, (2025) Semantic embedding-guided graph self-attention network for plant stem–leaf separation from 3D point clouds, Computers and Electronics in Agriculture, 2025, 238, 110857.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。