利用非无人机高光谱图像对基于三维卷积神经网络的病害作物分类技术进行全面综述


发布时间:

2023-07-25

来源:

植物表型资讯

作者:

PhenoTrait

高光谱成像(HSI)是一种非破坏性和非接触的技术,可以提供关于物体结构和组成的宝贵信息。它可以捕捉到有关农作物的化学和物理特性的详细信息。由于其广泛的光谱范围,与基于多光谱或RGB的成像方法相比,HSI可以成为监测作物健康和生产力的更有效工具。随着这种成像工具在农业技术领域的出现,研究人员可以更准确地解决与农业产业中病害和缺陷作物的检测有关的问题。这样就可以在作物进入田间生长的受损和难以恢复的阶段之前,实施最合适和准确的耕作方案,如灌溉和施肥。虽然HSI为被调查对象提供了宝贵的见解,但目前用于作物评估的HSI数据集数量有限,构成了一个瓶颈。由于每个高光谱立方体中都有大量的光谱和空间信息,处理维度难题是另一个挑战。基于一维和二维网络的最新方法难以有效地提取光谱和空间信息。另一方面,基于3D-CNN的模型通过同时利用光谱和空间特征,在实现更好的分类和检测结果方面显示出巨大的前景。尽管基于3D-CNN的模型有明显的好处,但在这一研究领域,它们在分类方面的应用仍然有限。本文试图通过回顾基于3D-CNN的架构和典型的深度学习方法(包括预处理和结果的可视化)来解决这一差距,用于病害和有缺陷作物的高光谱图像的分类。此外,我们还讨论了利用HSI数据的3D-CNN的开放研究领域和挑战。

 

图1 高光谱立方体(根据Tarabalka等人(2010)进行修改)。它是一个三维数组,每个像素代表一个包含一系列波长的光谱。该光谱可以作为一个指纹,提供有关被成像对象的生物物理和生化特性的信息。

 

图2 CNN的基本概念架构。CNN由多层组成,包括卷积层、检测器层和池化层,其中每一层都作为下一层的输入,从而能够提取低维特征、学习非线性表示和降低网络中的维数

 

 图3 在超立方体中使用一维、二维和三维核的卷积过程的运动方向。图中显示了CNN在超立方体上的(a)一维、(b)二维和(c)三维卷积的运动方向示意图。X和Y方向表示在空间维度上的移动,Z方向表示在光谱维度上的移动。

 

图4. 用于HSI数据分类的典型深度学习流程。首先,从预处理过的作物HSI数据集中提取特征和波段。然后,数据集被分割成训练、验证和测试集。训练数据集用于训练3D-CNN模型,验证数据集用于评估模型的性能和微调其参数,而测试数据集用于评估训练后的3D-CNN模型在未见数据上的最终性能和泛化能力。

 

图5. HSI数据的黑白校正。(a) 黑白图像校正前呈现的生菜高光谱图像;(b) 该图像显示了使用公式2进行黑白图像校正后呈现的高光谱图像。

 

 
来 源

Noshiri N, Beck M A, Bidinosti C P, et al. A comprehensive review of 3D convolutional neural network-based classification techniques of diseased and defective crops using non-UAV-based hyperspectral images[J]. 2023.

 

编辑

小王博士在努力
 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。