PST:用于角果期油菜稠密点云分割的深度神经网络


发布时间:

2023-01-03

来源:

植物表型资讯

作者:

PhenoTrait

植物器官三维点云分割是解析植物形态结构表型参数的前提。随着深度学习技术的发展,涌现了大量利用神经网络进行植物点云分割的研究。然而现有方法大多采用基于点(Point-based)和基于硬体素(Hard-voxelization-based)的点云数据表征模式,使得网络设计更倾向于分析结构较简单的植物稀疏点云模型。对于结构复杂、点稠密的植物点云模型泛化能力较差。

针对这一问题,作者提出了Plant Segmentation Transformer (PST) 网络(图1),用于分割具有复杂空间结构的HLS(Handheld Laser Scanning)稠密点云数据。PST遵循编码器-解码器结构,主要由三个模块构成,包括动态体素特征编码器(Dynamic voxel feature encoder,图1(b))、双窗口集自注意力特征提取模块(Dual window sets self-attention block)以及稠密特征恢复模块(Dense feature propagation block)。

 

图1. (a) PST网络整体整体构架,(b) 动态体素特征编码器示意图

 

本研究使用的植物点云数据为手持激光扫描获得的角果期油菜点云数据。角果期油菜点云数据由于结构复杂、角果尺寸较小,需要用精度高、稠密的点云进行表征。PST利用动态体素的特性,在不降低原始点云分辨率的情况下对每一个点进行“点-体素”映射并编码,通过自注意力特征提取模块进一步加强点云语义特征学习,最后通过“体素-点”逆映射计算每个点的语义标签。结果表明,与目前主流网络相比(PointNet++, PAConv, DGCNN),PST取得了最优效果,在IoU, Prec,Rec,F1和oAcc上分别达到了93.96%,97.29%,96.52%,96.88%,97.07%。分割效果如图2所示。

 

图2 在测试集上不同网络的分割效果对比。

 

在推理速度方面,PST也取得了较好的结果(表1)。PST将原始分辨率的点云作为输入(full-scale),在取得最高mIoU(93.96%)的同时,仍能保持理想的推理速度(156.2ms/point cloud),体现了较好的实际应用潜力。

表1不同网络在输入不同分辨率点云情况下的推理速度对比

 

随后,本研究将PST与目前主流的实例分割网络PointGroup(PG)中的第二阶段实例分割器(Instance segmentation head)相组合形成Vanilla PST-PG(V-PST-PG))(图3)与frozen PST-PG(F-PST-PG)模型。V-PST-PG 利用PST作为一阶段语义分割器(Semantic head), 为第二阶段PG中的实例分割器提供点云语义标签从而完成实例分割。F-PST-PG模型在第二阶段将语义分割器(PST)冻结,停止参数更新,其余部分与V-PST-PG相同。

 

图3. V-PST-PG模型示意图,主要由四部分组成:PST(b),偏移向量预测(Offset prediction)(c),聚类模块(Clustering part)(d) 以及ScoreNet(e)。

 

对于实例分割任务,结果表明,V-PST-PG及F-PST-PG均比原始PointGroup网络有提升,其中F-PST-PG效果最好,在mPrec90、mRec90、mCov和mWCov分别达到88.83%,82.53%,89.51%,89.85%。分割效果如图4所示。

 

图4. 在测试集上实例分割结果。为了区分不同角果,每个角果都标记为随机颜色,茎秆部分点云统一标记为灰色。

 

 

来 源

Du, R., Ma, Z., Xie, P., He, Y., & Cen, H*. (2023). PST: Plant Segmentation Transformer for 3D Point Clouds of rapeseed plants at the podding stage. ISPRS Journal of Photogrammetry and Remote Sensing, 195:380-392. https://doi.org/10.1016/j.isprsjprs.2022.11.022

 

作者介绍

论文第一作者为浙江大学生物系统工程与食品科学学院硕士研究生杜瑞铭,论文通讯作者为岑海燕教授。研究工作得到国家十四五重点研发计划项目、浙江省重点研发计划项目以及浙江大学国际合作专项的资助。

 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。