一种基于语义分割大豆植物生长阶段三维重建的高效自动化图像预处理方法


发布时间:

2023-10-20

来源:

本站

作者:

PhenoTrait

通过三维建模研究植物表型已成为植物表型自动获取研究的一个重要领域。在三维模型构建过程中,传统的图像预处理方法效率较低,且存在固有的低效性,增加了模型构建的难度。为了保证三维模型的准确性,同时降低图像预处理的难度,提高三维重建的速度,本研究采用深度学习语义分割技术对大豆植株的原始图像进行预处理。此外,还进行了不同品种和不同生长期大豆植株的对照实验。分别建立了基于人工图像预处理的模型和基于图像分割的模型。进行了点云匹配、距离计算和模型匹配度计算。本研究使用 DeepLabv3+、Unet、PSPnet 和 HRnet 网络对大豆植株无性期(V)的原始图像进行语义分割,其中 Unet 网络的测试效果最佳。mIoU、mPA、mPrecision 和 mRecall 的值分别达到了 0.9919、0.9953、0.9965 和 0.9953。同时,通过比较模型与参考模型的距离结果和匹配精度结果,可以得出结论:语义分割可以有效改善图像预处理和重建时间长的难题,大大提高噪声输入的鲁棒性,确保模型的准确性。语义分割作为实现高效、自动化图像预处理的基础组件,在无性期大豆植株的三维重建中发挥着至关重要的作用。未来,语义分割将为其他作物的三维重建预处理提供解决方案。

 

图1 所提出方法的概述

 

图2 大豆三维重建图像采集。(a)大豆图像采集平台;(b)图像采集方法流程图。

 

图3语义分割模型的网络架构

 

图3 语义分割模型架构。(a) DeepLabv3+;(b) Unet;(c) PSPnet;(d) HRNet。

 

图4 大豆植株三维重建过程

 

图5 模型对比过程

 

图6 使用这两种方法建立的 HN51 大豆植株不同阶段的点云模型示意图。(a) V1 阶段;(b) V2 阶段;(c) V3 阶段;(d) V4 阶段;(e) V5 阶段。(左图为基于分割图像的大豆三维点云模型。右图为基于人工预处理图像的大豆三维点云模型)

 

来 源

Sun, Y.; Miao, L.; Zhao, Z.; Pan, T.; Wang, X.; Guo, Y.; Xin, D.; Chen, Q.; Zhu, R. An Efficient and Automated Image Preprocessing Using Semantic Segmentation for Improving the 3D Reconstruction of Soybean Plants at the Vegetative Stage.Agronomy 2023, 13, 2388.

 

编辑

劳广术

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。