基于可变形点云的玉米茎叶分割框架


发布时间:

2024-05-19

来源:

作者:

三维点云在作物形态结构研究中的有效性基于其直接、准确的数据呈现能力。通过深度学习集成,来自点云的器官分割可以作为器官水平表型研究取得巨大进展的基础。然而,尽管有潜力,获取足够数量的带注释的植物点云用于实际模型训练仍然是一个主要障碍。为了克服这一限制,构建了一个三维点云数据集,专门用于玉米茎叶分割,包括428株玉米,从2到12片叶子。本文还开发了一种点云增强策略,该策略使用高度可控的变形来显著提高训练集的形态多样性,同时保留器官的局部几何特征。数据集支持从有限数量的标记数据生成丰富的训练数据,并且还提供了基于增强数据的分割框架来验证增强技术的效率。基于每个叶片数,从植物数据集中随机选择两个标记数据项,总共产生22个标记数据项,生成多个变形点云,用于训练PointNet++语义分割模型,以及用于三维即时分割(hierarchical aggregation for the 3D instant segmentation,HAIS)模型的分层聚合。在406个数据集上对这些模型进行了测试,其中PointNet++模型在语义分割中获得了91.93%的平均相交-超联合(mean intersection-over-union,mIoU),HAIS模型在实例分割中获得了89.57%的平均精度(mean average precision,mAP)。经过后处理,HAIS模型的实例分割率达到了93.74%。这些发现表明,所提出方法允许在减少的时间框架内以最小的标记数据输入有效地训练器官分割模型。此外,它还为玉米表型研究中的点云分析提供了有效的工具。

 

Maize数据集:https://github.com/syau-miao/SignleMaizePointCloudDataSet.git

源代码:https://github.com/yangxin6/Deformation3D.git

 

图1  玉米植物点云标注:(A)植物点云,(B) Label3DMaize标注软件,(C)点云标注结果可视化。每个器官实例被分配一个整数标签,并用颜色表示。

 

图2  叶片和茎的变形过程及其影响:(A)图1中玉米植株点云的体积网格,(B)体积网格的实例标签和关键区域,(C)施加在茎上的力,(D)施加在叶片上的力,(E)变形的体积网格和相应的点云。

 

图3  使用描述的方法随机生成植物点云。(A)和(C)为原标注点云。(B)和(D)显示了使用本文方法变形的点云。注:在每个植物中,属于同一器官实例的点用相同的颜色表示,不同的器官用不同的颜色表示。

 

图4 茎叶器官变形结果可视化:(A)变形前的茎原点云,(B)五种变形后的茎点云,(C)不变的叶点云,(D)五种变形后的叶点云。注:(A)和(B)中最上面的子图为茎点云的正面视图,最下面的子图为底部视图;在(C)和(D)中,绿色和黄色代表不同的叶点云。

 

图5  玉米植株形态的模拟:(A)倒伏姿态,(B)特别改变一片叶子的倾角,(C)将一片叶子变成破碎的一片。注:在每株植物中,属于同一器官实例的点用相同的颜色表示,不同的器官用不同的颜色表示。

 

图6  在PointNet++上使用数据增强方法实现语义分割结果的可视化:(A)地面真值,(B)翻转,(C)旋转,(D)噪声,(E)作物,(F)抖动,(G)弹性变形,(H)叶片交叉,(I) LRDT, (J)我们的方法,(K)基线。注:红点云和红点云分别代表茎和叶。

 

图7  在HAIS上使用数据增强方法实现实例分割结果的可视化:(A)地面真相,(B)翻转,(C)旋转,(D)噪声,(E)作物,(F)抖动,(G)弹性变形,(H)叶片交叉,(I) LRDT, (J)提出的方法,(K)基线。注:图中不同颜色表示不同的实例,黑色表示未分割的点云。

 

图8  使用不同方法的语义分割结果可视化:(A) ground truth, (B) GrowSP的分割结果,(C) PointNet++的分割结果。注:红色点云和蓝色点云分别代表茎和叶。

 

图9  不同方法的实例分割结果可视化:(A) ground truth, (B) SS分割结果,(C) DFSP分割结果,(D) HAIS分割结果,(E) HAIS_PP分割结果。注:图中不同颜色表示不同实例,黑色表示未分割点云。

 

图10  不同方法对器官的变形影响:(A)原始点云,(B)抖动变形结果,(C)弹性变形结果,(D)本方法变形结果。

 

图11   利用物理变形模拟玉米种群的点云分布(A)株距0.2 m,行距0.6 m的苗期种群点云模拟,(B)株距0.4 m,行距0.6 m的苗期种群点云模拟,(C)株距0.2 m,行距0.6 m的伸长期种群点云模拟,(D)株距0.4 m,行距0.6 m的伸长期种群点云模拟。

 

图12  基于物理变形的数据增强方法在各种植物上的应用:(A)自上而下:番茄、小麦和含羞草的标注实例点云,(B)原始点云的体素化,(C)体积网格的实例标记,(D)施加外力后植物的形态变化,(E)通过体素插值重建点云数据。

 

来 源

Xin Yang, Teng Miao, Xueying Tian, Dabao Wang, Jianxiang Zhao, Lili Lin, Chao Zhu, Tao Yang, Tongyu Xu. Maize stem–leaf segmentation framework based on deformable point clouds, ISPRS Journal of Photogrammetry and Remote Sensing. 2024, 211: 49-66. 

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。