Eff-3DPSeg:使用高效注释点云的三维器官级植物芽分割


发布时间:

2023-01-18

来源:

植物表型资讯

作者:

PhenoTrait

可靠、自动化的三维植物茎段分割是在器官水平上提取植物表型性状的核心前提。结合深度学习和点云可以提供有效的方法来应对这一挑战。然而,完全监督式深度学习方法要求数据集按点注释,这是非常昂贵和耗时的。在我们的工作中,我们提出了一个新的弱监督框架Eff3DPSeg,如图1,用于三维植物芽分割。首先,利用低成本的摄影测量系统重建大豆的高分辨率点云,如图2,并开发了基于meshlab的植物注释器(Plant Annotator)用于植物点云注释,如图3。其次,提出了一种弱监督深度学习的植物器官分割方法,如图4。该方法包括:(1)利用视点瓶颈(Viewpoint Bottleneck)损失预训练自监督网络,如图5和图6,从原始点云中学习有意义的内在结构表示;(2)对预训练模型进行微调,只标注0.5%左右的点,实现植物器官分割,如图7。然后提取3个表型性状(茎粗、叶宽和叶长)。为了测试所提方法的通用性,本研究纳入了公共数据集Pheno4D(https://pubmed.ncbi.nlm.nih.gov/34407122/)。
 

实验结果(图8-11)表明,弱监督网络与全监督网络具有相似的分割性能。该方法对茎叶的Precision、Recall、F1-score和mIoU的分割准确率分别为95.1%、96.6%、95.8%和92.2%,对AP、AP@25和AP@50的叶片实例分割准确率分别为53%、62.8%和70.3%。该研究为植物三维结构的表征提供了一种有效的方法,将有助于植物育种家加强选择过程。

 

图1 提出的Eff-3DSeg框架的整体工作流程。(A)利用Multi-view Stereo Pheno平台重构植物点云,利用基于meshlab的plant Annotator对点云进行标注。(B)提出的弱监督植物器官分割网络用于植物茎叶分割和叶实例分割。(C) 利用植物器官分割的结果提取三种植物表型茎粗、叶宽和叶长等性状。  

 

图2 2022年5月6日至27日拍摄的大豆点云。

  

图3 (A)生大豆点云及标注结果。(B)茎叶注释和(C)叶实例注释。

  

图4 所提出的弱监督植物器官分割框架。(A)使用视点瓶颈(Viewpoint Bottleneck)损失函数,用自监督表示学习方法预训练骨干网。(B)利用弱注释点云对预训练的植物茎叶分割模型和叶片实例分割模型进行了修改和微调。

 

图5 自我监督预训练方法的说明:视点瓶颈。X为三维坐标和颜色拼接表示的植物点云(M×6, M为点数)。经过两次随机几何变换,我们得到了它的两个增广Xp和Xq。将它们输入到共享的稀疏ConvUnet fθ中,得到两个高维表示集Zp和Zq (M× D, D为表示维数)。应用了最远点采样,以得到下采样表示ZP'和Zq' (H×D), H是下采样表示的点号。最后,对ZP'和Zq'之间的互相关矩阵施加视点瓶颈,记为Z。

 

图6 稀疏ConvUnet(Sparse ConvUnet)体系结构

 

图7 植物器官分割示意图。首先,将一个植物点云X(坐标:M×3,颜色:M×3)输入稀疏ConvUnet,以提取点未来F (M×K)。M是点的个数,K是未来点的维度。第二(茎叶分割):茎叶分支用F生成茎叶语义评分(M×n),其中n为类数。一个点的预测茎叶标签S (M×1)是得分最高的类(Argmax)。第三(Leaf实例分割):偏移模块产生偏移向量O (M×3)。然后,采用聚类方法在原始坐标坐标和移位坐标上将点分组为叶簇,分别生成Cc和Cs。最后,我们将Cc和Cs的并集表示为最终的聚类结果C。

 

图8 不同监督设置下大豆茎叶分割的定性可视化。所展示的样本选取覆盖不同生长发育阶段的个体。在不同的行中显示了茎叶分割的真实值和不同监督设置的结果。

 

图9 不同监督设置下番茄茎叶分割的定性可视化。

 

图10 弱监督大豆叶片实例分割的定性可视化。

 

图11 弱监督番茄叶片实例分割的定性可视化。

 

来 源

Luo, L., Jiang, X., Yang, Y., Samy, E.R., Lefsrud, M.G., Hoyos-Villegas, V., & Sun, S. (2022). Eff-3DPSeg: 3D organ-level plant shoot segmentation using annotation-efficient point clouds.

 

编 辑

王春颖

 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。