ECVNet:用于番茄叶病识别的高效卷积神经网络与视觉变换器的融合网络


发布时间:

2025-02-25

来源:

作者:

番茄叶病对植物生长和生产力构成了重大威胁,因此迫切需要准确识别和及时管理这些问题。现有的番茄叶病识别模型主要可以分为卷积神经网络(CNNs)和视觉变换器(VTs)两类。CNN在局部特征提取方面表现出色,但在全局特征识别上存在困难;而VTs则擅长于全局特征提取,但在捕捉局部特征方面效果较差。这一差异阻碍了这两种模型在番茄叶病识别任务中的性能提升。目前,有效融合CNN和VT的模型仍然较为稀缺。我们提出了一种高效的CNN和VT融合网络——ECVNet,用于番茄叶病识别。具体而言,我们首先设计了一个通道注意力残差模块(CAR模块),以关注通道特征,增强模型对特征通道重要性的敏感度。接着,我们创建了一个卷积注意力融合模块(CAF模块),以有效提取并融合局部和全局特征,从而提高模型的空间特征提取能力。我们使用Plant Village数据集和AI Challenger 2018数据集进行了广泛实验,ECVNet在两者上的识别性能均达到最先进水平。在100个epoch的训练条件下,ECVNet在Plant Village数据集上的准确率为98.88%,在AI Challenger 2018数据集上的准确率为86.04%。ECVNet的引入为植物叶病的识别提供了有效的解决方案。

 

 图1 Plant Village 数据集中的番茄叶病图像示例。  

 

图2 AI Challenger 2018 数据集中的番茄叶病图像示例。
  

图3 ECVNet的结构。
 

 

  图4 CAR模块结构。
 

 图5 CAF模块的结构。
 

 图6 带有和不带 CAR模块的训练过程(左:Plant Village 数据集上的结果;右:AI Challenger 2018 数据集上的结果)。
 

 图7 带有和不带 CAF 模块的训练过程(左:Plant Village 数据集上的结果;右:AI Challenger 2018 数据集上的结果)。
  

图8 不同模型的训练过程(左:Plant Village 数据集上的结果;右:AI Challenger 2018 数据集上的结果)。
 

  图9 ECVNet 的 ROC 曲线(左:Plant Village 数据集上的结果;右:AI Challenger 2018 数据集上的结果)。
  

 

图10 ECVNet 的 PR 曲线(左:Plant Village 数据集上的结果;右:AI Challenger 2018 数据集上的结果)。
 

 

  图11 ECVNet 的混淆矩阵(左:Plant Village 数据集上的结果;右:AI Challenger 2018 数据集上的结果)。
  

图12 特征提取过程的可视化比较。
  

图13 Grad-CAM 激活映射可视化比较。

 

来源

Zou F, Hua J, Zhu Y, et al. ECVNet: A Fusion Network of Efficient Convolutional Neural Networks and Visual Transformers for Tomato Leaf Disease Identification[J]. Agronomy, 2024, 14(12): 2985.https://doi.org/10.3390/agronomy14122985

 

编辑

王永贤

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。