3D植物点云的深度语义分割


发布时间:

2021-10-04

来源:

本站

作者:

PhenoTrait

  植物表型分析是植物育种工作中必不可少的一步。评估植物三维形态和提取相关表型特征的标准程序速度慢、价格昂贵且需要自动化。前期研究中关于植物自动语义分割的工作依赖于关于作物类型和传感器设置的明确先验知识,以及手动调整参数。

 

  在本研究中,作者使用监督机器学习算法,直接从整个植物的点云数据中预测每个点的语义注释,并最大限度地减少必要的用户输入。在完全注释的程序生成的番茄植物部分点云数据集上训练 PointNet++ 变体。在合成数据测试样本、更复杂生长场景样本和真实植物数据样本上对模型产生的每一个点的语义注释进行了定量和定性评估。研究结果表明,该网络能够仅基于结构数据区分叶、茎和土壤的语义类别。

 

  从图1单株分割效果来看,土壤和植株的分割效果较好,最常见的分割错误发生在茎与叶区域混淆的地方。 特别是靠近植物顶部的细小的茎通常不易被发现。有时,在点云中仅捕获一小部分叶子,或者茎和叶由于透视和遮挡而紧密重叠时,叶片被错误分类为茎。但在大多数情况下可以定位茎的基部。

 

  图1单独植株分割效果

 

  从图2 群体分割效果来看,也存在茎叶分割不完全的情况,但大部分分割是有效的。结果表明,该模型确实可以区分局部形状特征,并且没有过分强调训练数据中呈现的单个植物的全局形状的规律。

 

 图2 有遮挡的群体植株分割效果

 

  从图3 真实植物分割效果来看,茎叶区域之间的语义分割结果在这个真实作物中更加模糊。但是,用合成数据训练模型并迁移到真实作物上在一定程度上还是提高了预训练的可能性,减少了所需的完全注释的现实世界训练数据的数量。

 

 图3 真实的番茄植株和玉米植株分割效果 

 

  来源:Karoline Heiwolt, Tom Duckett, and Grzegorz Cielniak. Deep semantic segmentation of 3D plant point clouds.

   编辑:婷婷

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。