PSegNet:植物点云的同时语义和实例分割


发布时间:

2022-04-20

来源:

本站

作者:

PhenoTrait

  植物生长表型的研究提高了对复杂遗传性状的认识,最终促进了现代育种和智能农业的发展。在表型方面,分割叶片、茎等植物器官的三维点云有助于植物的自动生长监测,反映植物受到的胁迫程度。在这项工作中,我们首先提出了体素化最远点采样(Voxelized Farthest Point Sampling,VFPS,图1),一种新的点云下采样策略,以准备我们的植物数据集用于深度神经网络的训练。然后,设计了一个深度学习网络- PSegNet(图2),用于分割几种植物的点云。PSegNet的有效性来源于三个新的模块,分别是双邻域特征提取块(Double-Neighborhood Feature Extraction Block,DNFEB,图3)、双粒度特征融合模块(Double-granularity Feature Fusion Module,DGFFM)和注意模块(Attention Module,AM)。本研究中使用的植物点云数据来源于激光扫描点云数据集(https://data.mendeley.com/datasets/9k7zctdyhs/1)。该数据集记录了在不同环境下生长的三种作物,包括番茄、烟草和高粱。每个作物在30天内被扫描多次。在图4中展示了不同生育期的三种作物。PSegNet网络对VFPS编制的植物数据集进行训练后,可以同时实现三种植物的语义分割和叶片实例分割(图5和图6)。

 

  与PointNet++、ASIS、SGPN、PlantNet等几种主流网络相比,PSegNet在定量和定性上都获得了最好的分割结果。在语义分割方面,PSegNet对Prec、Rec、F1和IoU的均值分别达到95.23%、93.85%、94.52%、89.90%(图7)。在实例分割中,PSegNet对mPrec、mRec、mCov和mWCov分别达到88.13%、79.28%、83.35%和89.54%(图8)。

 

  图1 VFPS策略示意图。最左边的点云(a)是原始烟草点云,总共包含373,397个点。首先,我们为下采样点云设置一个数字对象,例如N=4096。然后将带参数的VBS应用于原始点云,形成包含10955体素的点云(b)。每个体素由体素中点的重心表示,并在(c)中放大一个体素示例。最后,最远点取样(Farthest Point Sampling,FPS)被应用于这个临时体素化的点云,以生成精确的4096个点的最终结果(d)。

 

  图2 PSegNet的架构。网络主要由三部分组成。在深度学习中,前端具有典型的类编码器结构。前部分计算采用连续4个双邻域特征提取块,在每个DNFEB前分别对特征空间进行下采样,对特征进行压缩。中间部分为双粒度特征融合模块,将不同特征粒度的两个解码器的输出进行融合,得到混合特征。在PSegNet的第三部分,特征流分为两个方向,分别对应两个任务-实例分割和语义分割。空间注意机制和通道注意机制依次应用于每个特征流。

 

  图3 DNFEB。DNFEB的特征尺寸随其在PSegNet中的位置而变化,在图中只显示了第4个DNFEB的特征尺寸。标准的DNFEB包括三个相似的阶段。图的下半部分放大了第1阶段的计算过程。在阶段1中,对于特征空间中的任意点i,我们分别在初始XYZ空间和当前特征空间中找到它的k个最近的邻居。其次,对XYZ空间中的k近邻进行位置编码,形成局部区域的低级特征编码; 同时,通过EdgeConv运算计算当前特征空间的k近邻,得到高阶邻域特征集。最后,在连接低级和高级局部特征后,计算细心池运算后输出当前点i的新特征向量。

 

  图4 数据集中的点云示例。第一行分别为同一株烟草连续6个生长期的点云;第二行为同一株番茄连续6个生长期的点云;最后一行是同一株高粱连续6个生长期的点云。

 

  图5 定性演示PSegNet语义分割。第一行分别为4个不同烟草个体的语义分割结果。第二行分别为四种不同番茄植株的语义分割结果。最后一行分别是四种不同高粱植物的语义分割结果。从PSegNet中分割出的每个作物点云与其对应的地面真实值(Sem.GT)进行比较。不同呈现颜色的含义显示在图的左侧。一些区域被放大以提供更多的细节。

 

  图6 实例分割的定性演示。第一行分别给出了四种不同烟草个体的实例分割结果。第二行为4个不同番茄个体的实例分割结果。最后一行分别为4个不同高粱个体的实例分割结果。从PSegNet中分割出的每个作物点云与对应的地面真实值(Ins.GT)进行比较。注意,图中呈现的不同颜色只是为了更好地区分不同实例,与实例标签没有关系。因此,即使分割成功,同样的叶子在实际中和实例分割中可能会被渲染成两种不同的颜色。一些区域被放大以提供更多的细节。

 

  图7 三个物种的定性语义分割比较。DGCNN和pointnet++与PSegNet进行了比较。分割错误的部分分别用红色虚线圈突出显示。DGCNN和pointnet++在两个不同的点类之间的边界附近都有多个预测误差。

 

  图8 三个物种的定性实例分割比较。第一行是烟草植株,第二行是番茄植株;最后一行是高粱。并将PlantNet和ASIS与我们的PSegNet进行了比较。注意,图中呈现的不同颜色只是为了获得更好的视觉效果,这些颜色与实例标签没有关联。分割错误的部分分别用红色虚线圈突出显示。PlantNet和ASIS在叶片实例边界附近都存在多个预测误差。

 

  来源:Dawei Li, Jinsheng Li, Shiyu Xiang, and Anqi Pan. PSegNet: simultaneous semantic and instance segmentation for point clouds of plants. Plant Phenomics, 2022, 9787643.

  

  编辑:王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。