学术中心
利用多视角立体三维重建和点云分割对成熟大豆进行自动表型分析
发布时间:
2025-04-14
来源:
作者:
成熟大豆的表型分析是大豆育种的一个重要方面。 然而,手动获取表型参数不仅费时费力,而且缺乏客观性。 因此,迫切需要一种快速、准确、高效的方法来收集大豆的表型参数。 本研究开发了一种基于三维(3D)点云获取成熟大豆表型性状的新方法。 首先,使用多视图立体3D重建方法获取大豆点云,然后进行预处理以构建数据集。 其次,提出了一种基于深度学习的网络PVSegNet(点体素分割网络),专门用于分割大豆豆荚和茎。 该网络通过集成点云和体素卷积以及方向编码(orientation-encoding,OE)模块来增强特征提取能力。最后,提取茎直径、荚长、荚宽等表型参数,并与人工测量值进行验证。实验结果表明,语义分割的平均交并比(IoU)为92.10%,精度为96.38%,召回率为95.41%,F1分数为95.87%。对于实例分割,该网络的平均精度(AP@50)为83.47%,平均召回率(AR@50)为87.07%。这些结果表明该网络用于荚和茎的实例分割的可行性。在植物参数提取中,通过表型提取方法获得的荚宽、荚长和茎直径的预测值与人工测量的决定系数(R2)分别为0.9489、0.9182和0.9209。这表明本文的方法可以显著提高效率和准确性,有助于自动化三维点云分析技术在大豆育种中的应用。
图1 大豆样本收集和数据获取。(a)拍摄地点,(b)拍摄方法,(c)种植地点。
图2 大豆植物表型分析框图,包括数据采集、点云生成、点云分割和表型参数提取。
图3 数据注释过程。(a)原始大豆点云,(b)注释软件界面,(c)实例注释,其中不同颜色代表不同的豆荚,(d)语义注释,其中不同颜色代表豆荚和茎类别。
图4 增强前后大豆点云数据的变化。灰色点云表示原始数据,彩色点云表示增强结果。 (a)平移,(b)缩放,(c)裁剪,(d)旋转。
图5 PVSegNet 网络架构用于分割大豆点云数据中的豆荚和茎区域。蓝色矩形框表示向量,其他彩色矩形框表示其中的文本指示的相应操作。首先,大豆点云 X 通过主干网络提取特征 F。接下来,语义模块和偏移模块分别生成 S 和 O。从 X 中提取坐标 P,并将偏移 O 添加到 P 以获得移位坐标 Q。然后使用聚类方法产生豆荚或茎的实例聚类结果 Cp 和 Cq,Cp 和 Cq 的并集得到 M 个聚类 C。使用 ScoreNet 对这些聚类进行评分以获得各自的聚类分数 Sc。最后,使用 NMS(非最大抑制)方法获得最终的实例分割结果 G。
图6 PVSegNet 的架构,包括上采样和下采样组件。它结合了 PVConv、OE、SetAbstraction 和 FeaturePropagation 模块。
图7 表型参数提取说明:(a)大豆点云,(b)大豆豆荚的实例分割,不同颜色代表不同的豆荚,然后提取每个豆荚的长度和宽度表型参数,(c)分割的茎区域,使用几何拟合提取茎直径表型参数。
图8 语义分割训练损失的变化。(a)训练集上的损失变化。 (b)验证集上的损失变化。
图9 四个网络的语义分割预测结果。左侧显示标记的类别,其中黄色和青色分别代表豆荚和茎类。右侧清晰地显示了矩形框内的局部预测结果。在预测标签中,蓝色代表豆荚,红色代表茎。
图10 实例分割训练损失的变化。 (a) 训练集上的损失变化。 (b) 验证集上的损失变化。
图11 图中展示了四种不同网络与人工标注的实例分割预测结果对比,红框突出显示了放大的区域,不同颜色代表不同的pod,灰色代表stem。
图12 图中展示了PVSegNet在不同样本上的实例分割预测结果对比人工标注的结果,不同颜色代表不同的pod,灰色代表stem。
图13 大豆植株点云分割提取的表型参数与测量值的比较。(a)豆荚宽度,(b)豆荚长度,(c)茎粗度,(d)豆荚数量。
Cui, D.; Liu, P.; Liu, Y.; Zhao, Z.; Feng, J. Automated Phenotypic Analysis of Mature Soybean Using Multi-View Stereo 3D Reconstruction and Point Cloud Segmentation. Agriculture 2025, 15, 175.
编辑
王春颖
推荐新闻
视频展示