学术中心
利用多视角图像预测茄子幼苗移栽
发布时间:
2024-10-21
来源:
作者:
传统的基于2D图像的深度学习方法只能对健康和不健康的幼苗进行分类;因此,本研究提出了一种方法,通过3D点云进一步将健康幼苗分为初生幼苗和次生幼苗,并最终区分三类幼苗,用于检测有用的茄子幼苗移植。首先,收集了三种类型的茄子幼苗(初生、次生和不健康)的RGB图像,并使用ResNet50、VGG16和MobilNetV2对健康和不健康的幼苗进行分类;随后,对3种幼苗类型分别生成三维点云,并采用(快速欧氏聚类、点云滤波、体素滤波)进行一系列滤波处理以去除噪声。从点云中提取的参数(叶片数、株高、茎直径)与手动测量值高度相关。箱形图显示,对于提取的参数,初生幼苗和次生幼苗被明显区分。利用3D分类模型PointNet++、动态图卷积神经网络(DGCNN)和Point Conv对3种幼苗类型的点云进行直接分类,并对叶片缺失的植株进行点云补全操作。Point Conv模型表现最好,平均准确率、精确率和补全率分别为95.83 %、95.83 %和95.88 %,模型损失为0.01。该方法利用空间特征信息,比二维(2D)图像分类和三维(3D)特征提取方法更有效地分析不同幼苗类别。然而,很少有研究应用3D分类方法来预测有用的茄子幼苗移植。因此,该方法具有高精度识别不同茄子幼苗类型的潜力。此外,它还可以在农业生产过程中对幼苗进行质量检验。
图1 信息处理流程的流程图
图2 一种图像采集装置的示意图
(A)计算机(处理图像数据并进行三维重建);(B)摄像机(采集图像);(C)旋转平台(带苗旋转);(D)茄子幼苗(实验材料)。
图3 三维点云重建和预处理结果
A(1)-D(1)表示初生幼苗,A(2)-D(2)为次生幼苗,A(3)-D(3)为不健康的幼苗;A(1)-A(3)为3D重建后的点云植物;B(1)-B(3)为快速欧氏聚类过滤的结果;
C(1)-C(3)为基于颜色阈值点云过滤的结果;D(1)-D(3)表示体素过滤的结果。
图4 补全缺失的点云
(A)表示含有缺失叶片的植物;(B)表示分割的不完整叶片;(C)表示去除RGB数据的缺失叶片的点云数据;(D)表示PF-Net预测生成的紫色缺失部分;(E)表示完成的叶子;(F)表示点云完成后的整个植物
图5 基于三维点云和人工测量的表型提取值的拟合性能
(A)初生幼苗株高(实际与预测);(B)初生幼苗茎直径(实际与预测);(C)初生幼苗叶数(相同值的x轴和y轴方向获得的随机偏差)(实际与预测);(D)次生幼苗株高(实际与预测);(E)次生幼苗茎直径(实际与预测);(F)次生幼苗叶数(相同值的x轴和y轴方向获得的随机偏差)(实际与预测)。
图6 初生和次生幼苗各参数的箱形图数据分布
(A)初生幼苗和次生幼苗的叶数的箱形图;(B)初生和次生幼苗的株高的箱形图;(C)初生和次生幼苗的茎直径的箱形图
表1 分类模型测试结果
VGG16的平均准确率、精确率和补全率均高于ResNet50和MobilNetV2。此外,对两种幼苗类型的正确预测数量明显高于ResNet50和MobilNetV2。
图7 模型在测试中的收敛性
(A)精度变化比较;(B)损失变化比较
表2 根据分类的置信区间
表3 按分类进行显著性检验
PointConv模型在所有性能指标上都优于其他5个模型,差异达到了统计显著性水平(p < 0.05)。置信区间表明,PointConv模型具有高的性能稳定性和大多数指标的小范围的波动度。
图8 不同模型的混淆矩阵
在实际预测过程中,PointConv模型仅错误预测了初级幼苗和次生幼苗之间的3株幼苗,预测精度明显高于其他模型。
本研究介绍了一种新的植物幼苗分类方法,其中应用三维分类模型来确定有用的茄子幼苗移植。这是通过从多视图图像中构建三维点云来实现的。利用PointNet++、DGCNN和PointConv对三种幼苗类型的点云进行了分类。PointConv模型对测试集表现出最好的分类精度。与二维图像分类和三维点云提取特征相比,该方法能够更准确地将茄子幼苗分为三类,有利于在整个农业生产和销售过程中对茄子幼苗进行无损检测。此外,它将使农业管理人员和经营者能够制定有效的种植计划和营销策略。未来的工作将集中于提高模型的分类精度和促进图像采集。
Yuan, X.; Liu, J.; Wang, H.; Zhang, Y.; Tian, R.; Fan, X. Prediction of Useful Eggplant Seedling Transplants Using Multi-View Images. Agronomy 2024, 14, 2016.
编辑
郑静文
推荐新闻
视频展示