利用多视角立体三维重建和点云分割对成熟大豆进行自动表型分析


发布时间:

2025-04-14

来源:

作者:

成熟大豆的表型分析是大豆育种的一个重要方面。 然而,手动获取表型参数不仅费时费力,而且缺乏客观性。 因此,迫切需要一种快速、准确、高效的方法来收集大豆的表型参数。 本研究开发了一种基于三维(3D)点云获取成熟大豆表型性状的新方法。 首先,使用多视图立体3D重建方法获取大豆点云,然后进行预处理以构建数据集。 其次,提出了一种基于深度学习的网络PVSegNet(点体素分割网络),专门用于分割大豆豆荚和茎。 该网络通过集成点云和体素卷积以及方向编码(orientation-encoding,OE)模块来增强特征提取能力。最后,提取茎直径、荚长、荚宽等表型参数,并与人工测量值进行验证。实验结果表明,语义分割的平均交并比(IoU)为92.10%,精度为96.38%,召回率为95.41%,F1分数为95.87%。对于实例分割,该网络的平均精度(AP@50)为83.47%,平均召回率(AR@50)为87.07%。这些结果表明该网络用于荚和茎的实例分割的可行性。在植物参数提取中,通过表型提取方法获得的荚宽、荚长和茎直径的预测值与人工测量的决定系数(R2)分别为0.9489、0.9182和0.9209。这表明本文的方法可以显著提高效率和准确性,有助于自动化三维点云分析技术在大豆育种中的应用。

 

图1  大豆样本收集和数据获取。(a)拍摄地点,(b)拍摄方法,(c)种植地点。

 

图2  大豆植物表型分析框图,包括数据采集、点云生成、点云分割和表型参数提取。

  

图3  数据注释过程。(a)原始大豆点云,(b)注释软件界面,(c)实例注释,其中不同颜色代表不同的豆荚,(d)语义注释,其中不同颜色代表豆荚和茎类别。

 

图4  增强前后大豆点云数据的变化。灰色点云表示原始数据,彩色点云表示增强结果。 (a)平移,(b)缩放,(c)裁剪,(d)旋转。

 

图5  PVSegNet 网络架构用于分割大豆点云数据中的豆荚和茎区域。蓝色矩形框表示向量,其他彩色矩形框表示其中的文本指示的相应操作。首先,大豆点云 X 通过主干网络提取特征 F。接下来,语义模块和偏移模块分别生成 S 和 O。从 X 中提取坐标 P,并将偏移 O 添加到 P 以获得移位坐标 Q。然后使用聚类方法产生豆荚或茎的实例聚类结果 Cp 和 Cq,Cp 和 Cq 的并集得到 M 个聚类 C。使用 ScoreNet 对这些聚类进行评分以获得各自的聚类分数 Sc。最后,使用 NMS(非最大抑制)方法获得最终的实例分割结果 G。

 

图6   PVSegNet 的架构,包括上采样和下采样组件。它结合了 PVConv、OE、SetAbstraction 和 FeaturePropagation 模块。

 

图7  表型参数提取说明:(a)大豆点云,(b)大豆豆荚的实例分割,不同颜色代表不同的豆荚,然后提取每个豆荚的长度和宽度表型参数,(c)分割的茎区域,使用几何拟合提取茎直径表型参数。

 

图8  语义分割训练损失的变化。(a)训练集上的损失变化。 (b)验证集上的损失变化。

 

图9  四个网络的语义分割预测结果。左侧显示标记的类别,其中黄色和青色分别代表豆荚和茎类。右侧清晰地显示了矩形框内的局部预测结果。在预测标签中,蓝色代表豆荚,红色代表茎。

  

图10  实例分割训练损失的变化。 (a) 训练集上的损失变化。 (b) 验证集上的损失变化。

 

图11  图中展示了四种不同网络与人工标注的实例分割预测结果对比,红框突出显示了放大的区域,不同颜色代表不同的pod,灰色代表stem。

 

图12  图中展示了PVSegNet在不同样本上的实例分割预测结果对比人工标注的结果,不同颜色代表不同的pod,灰色代表stem。

 

图13  大豆植株点云分割提取的表型参数与测量值的比较。(a)豆荚宽度,(b)豆荚长度,(c)茎粗度,(d)豆荚数量。

 
来 源

Cui, D.; Liu, P.; Liu, Y.; Zhao, Z.; Feng, J. Automated Phenotypic Analysis of Mature Soybean Using Multi-View Stereo 3D Reconstruction and Point Cloud Segmentation. Agriculture 2025, 15, 175. 

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。