学术中心
用于高级植物表型分析和病害检测的多传感器平台
发布时间:
2025-03-25
来源:
作者:
植物表型分析涉及测量和分析植物性状,近年来通过整合自主平台和复杂的传感器系统取得了重大进展。与传统方法相比,现代无人地面车(unmanned ground vehicles,UGV)通过在不同环境条件下对作物进行密切、详细和连续的监测,提供了强大而准确的表型分析能力。本研究介绍了与无人地面车集成的多传感器平台(multi-sensor platform,MSP)的配置和验证,以通过先进的数据融合和共配准技术改善植物表型。该平台整合了红、绿、蓝通道(red, green, and blue channel,RGB)、可见光(visible light,VIS)和近红外光(near-infrared light,NIR)光谱的高光谱、热传感器以及三维(3D)光探测和测距(light detection and ranging,LiDAR),所有这些都经过了广泛的校准,以确保精确的时间和空间对齐。应用了固有校准,包括校正可见光和近红外的光谱特征。此外,由于VIS传感器的中心位置和更高的数据采集频率,使用VIS传感器作为主要参考来同步时间戳。使用棋盘图案计算单应矩阵,以实现传感器之间的几何对齐,运动校正考虑了UGV的运动和地面采样距离。使用径向基函数插值将LiDAR点云转换为深度图(depth-maps,DM),丰富了空间数据以供进一步分析。在田间试验中,对共注册和同步的MSP进行了检测甜菜褐斑病(Cercospora leaf spot,CLS)的测试。实现了两个模型:(1)基于DeepLabV3+架构的土壤和植物分割模型,F1得分为0.85,准确率为0.95,以及(2)使用自定义卷积神经网络(convolutional neural network,CNN)的CLS严重性评分模型。利用NIR和DM通道的严重性模型的F1得分为0.7066,准确率为0.7104,召回率为0.7167,其中814 nm至851 nm之间的NIR波长对性能有显著贡献。
图1 流程图说明了本研究的关键步骤和过程,从现场实验和数据采集开始,然后是校准和注册。最终的数据集——包括RGB(RGB相机捕获的红色、绿色和蓝色通道)、VIS(高光谱相机的可见光通道)、NIR(高光谱摄像机的近红外光通道)和LiDAR(表示为点云的光检测和测距数据)——是模型开发、特征提取和分析的基础。
图2 实验田的布局展示了十二种不同的甜菜品种,每种品种都标有不同的颜色。白色条纹块代表缓冲区,将研究中应用的三种不同处理分开。
图3 说明甜菜褐斑病不同严重程度的示例图像。1级代表健康的植物;2级显示第一症状;第9层描绘了一棵完全落叶的植物;第10级显示新叶的再生。其他类别代表疾病进展的中间阶段。
图4 (a)多传感器平台,包含RGB、高光谱(VIS和NIR)、热成像和LiDAR传感器,以及所获得的原始图像的可视化。(b)安装了多传感器平台的无人地面车辆。
图5 从点云中获得深度图和蒙版棋盘的每个步骤的图像:(a)来自OS1传感器的原始点云数据,(b)感兴趣区域内的滤波点云,(c)2D平面转换和插值深度图,以及(d)显示最终棋盘的蒙版图像。
图6 热图像和VIS(参考)图像的共同配准过程示例,说明了从棋盘的原始图像到找到匹配点的图像再到最终配准图像的步骤。
图7 通过预处理、共注册和拼接从MSP获取或导出的所有数据集而生成的超立方体。采集的数据集包括RGB、VIS、NIR和热图像。导出的数据集由激光雷达数据的深度图和RGB图像生成的土壤覆盖掩模组成。
图8 共配准的评估基于像素之间的距离。将用作参考图像的上部图像(a)与作为共同配准的下部图像(b)进行比较。所选像素周围的区域以放大视图显示在右侧。不同的数字表示已标记的像素。左上角以黄色显示相机类型和与参考图像的时间偏移(以毫秒为单位)。
图9 (A) 由严重性评分分隔的所有通道和所有图像的平均值。RGB、VIS和NIR通道以纳米表示;温度单位为°C100,深度图单位为米,土壤覆盖率单位为比。(B) 疾病严重程度评分基础模型(所有传感器)的每个通道的归一化显著性,不同的颜色代表每个严重程度评分,绿色代表健康,红色代表完全患病。
图10 标准化混淆矩阵,说明疾病严重程度评分基础模型(所有通道)在测试数据集上的评分性能。该矩阵显示实际分数标签和预测分数标签之间的比较。样品的百分比以颜色显示,白色为0,红色为100。
图11 根据所有处理中存在不同抗性程度的四个甜菜品种的基础评分模型的显著性,总结疾病严重程度评分的时间发展和每个传感器的最相关通道。不同的颜色代表不同的品种。
Ispizua Yamati, F.R., Bömer, J., Noack, N., Linkugel, T., Paulus, S., & Mahlein, A. Configuration of a multisensor platform for advanced plant phenotyping and disease detection: case study on Cercospora leaf spot in sugar beet. Smart Agricultural Technology. 2025, 10, 100740.
编辑
王春颖
推荐新闻
视频展示