利用多视角图像预测茄子幼苗移栽


发布时间:

2024-10-21

来源:

作者:

传统的基于2D图像的深度学习方法只能对健康和不健康的幼苗进行分类;因此,本研究提出了一种方法,通过3D点云进一步将健康幼苗分为初生幼苗和次生幼苗,并最终区分三类幼苗,用于检测有用的茄子幼苗移植。首先,收集了三种类型的茄子幼苗(初生、次生和不健康)的RGB图像,并使用ResNet50、VGG16和MobilNetV2对健康和不健康的幼苗进行分类;随后,对3种幼苗类型分别生成三维点云,并采用(快速欧氏聚类、点云滤波、体素滤波)进行一系列滤波处理以去除噪声。从点云中提取的参数(叶片数、株高、茎直径)与手动测量值高度相关。箱形图显示,对于提取的参数,初生幼苗和次生幼苗被明显区分。利用3D分类模型PointNet++、动态图卷积神经网络(DGCNN)和Point Conv对3种幼苗类型的点云进行直接分类,并对叶片缺失的植株进行点云补全操作。Point Conv模型表现最好,平均准确率、精确率和补全率分别为95.83 %、95.83 %和95.88 %,模型损失为0.01。该方法利用空间特征信息,比二维(2D)图像分类和三维(3D)特征提取方法更有效地分析不同幼苗类别。然而,很少有研究应用3D分类方法来预测有用的茄子幼苗移植。因此,该方法具有高精度识别不同茄子幼苗类型的潜力。此外,它还可以在农业生产过程中对幼苗进行质量检验。

 

图1 信息处理流程的流程图

 

图2 一种图像采集装置的示意图

(A)计算机(处理图像数据并进行三维重建);(B)摄像机(采集图像);(C)旋转平台(带苗旋转);(D)茄子幼苗(实验材料)。

 

图3 三维点云重建和预处理结果

A(1)-D(1)表示初生幼苗,A(2)-D(2)为次生幼苗,A(3)-D(3)为不健康的幼苗;A(1)-A(3)为3D重建后的点云植物;B(1)-B(3)为快速欧氏聚类过滤的结果;

C(1)-C(3)为基于颜色阈值点云过滤的结果;D(1)-D(3)表示体素过滤的结果。

 

图4 补全缺失的点云

(A)表示含有缺失叶片的植物;(B)表示分割的不完整叶片;(C)表示去除RGB数据的缺失叶片的点云数据;(D)表示PF-Net预测生成的紫色缺失部分;(E)表示完成的叶子;(F)表示点云完成后的整个植物

 

图5 基于三维点云和人工测量的表型提取值的拟合性能

(A)初生幼苗株高(实际与预测);(B)初生幼苗茎直径(实际与预测);(C)初生幼苗叶数(相同值的x轴和y轴方向获得的随机偏差)(实际与预测);(D)次生幼苗株高(实际与预测);(E)次生幼苗茎直径(实际与预测);(F)次生幼苗叶数(相同值的x轴和y轴方向获得的随机偏差)(实际与预测)。

 

图6 初生和次生幼苗各参数的箱形图数据分布

(A)初生幼苗和次生幼苗的叶数的箱形图;(B)初生和次生幼苗的株高的箱形图;(C)初生和次生幼苗的茎直径的箱形图

 

表1 分类模型测试结果

VGG16的平均准确率、精确率和补全率均高于ResNet50和MobilNetV2。此外,对两种幼苗类型的正确预测数量明显高于ResNet50和MobilNetV2。

 

图7 模型在测试中的收敛性

(A)精度变化比较;(B)损失变化比较

 

表2 根据分类的置信区间

 

表3 按分类进行显著性检验

PointConv模型在所有性能指标上都优于其他5个模型,差异达到了统计显著性水平(p < 0.05)。置信区间表明,PointConv模型具有高的性能稳定性和大多数指标的小范围的波动度。

 

图8 不同模型的混淆矩阵

在实际预测过程中,PointConv模型仅错误预测了初级幼苗和次生幼苗之间的3株幼苗,预测精度明显高于其他模型。

 

本研究介绍了一种新的植物幼苗分类方法,其中应用三维分类模型来确定有用的茄子幼苗移植。这是通过从多视图图像中构建三维点云来实现的。利用PointNet++、DGCNN和PointConv对三种幼苗类型的点云进行了分类。PointConv模型对测试集表现出最好的分类精度。与二维图像分类和三维点云提取特征相比,该方法能够更准确地将茄子幼苗分为三类,有利于在整个农业生产和销售过程中对茄子幼苗进行无损检测。此外,它将使农业管理人员和经营者能够制定有效的种植计划和营销策略。未来的工作将集中于提高模型的分类精度和促进图像采集。

 

来 源

Yuan, X.; Liu, J.; Wang, H.; Zhang, Y.; Tian, R.; Fan, X. Prediction of Useful Eggplant Seedling Transplants Using Multi-View Images. Agronomy 2024, 14, 2016.

 

编辑

郑静文

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。