多源神经网络特征图融合:一种有效的植物病害检测策略


发布时间:

2023-09-23

来源:

本站

作者:

PhenoTrait

RGB相机或多光谱成像系统在作物监测、植物表型分析和病害检测方面得到了广泛的应用。但是它们的应用多基于卷积神经网络的架构,然而,卷积神经网络架构对于结果分类的改善效果变得越来越繁琐,并且难以对少量数据进行标记。现在卷积神经网络的集合应用越来越流行,主要基于每个模型解决一个不同的问题。但是由于推论需要执行多个模型,耗时耗力,最近研究多集中于将计算机系统存储的信息从一个模型集合转移到一个紧凑的模型,以获得更好的性能。在本文中,我们提出了一种新颖的方法,通过重复使用来自不同数据的异构模型提取的特征图来提高准确性和速度,连接每个模型的变换块允许保持正确的特征图数量,并在必要时改变它们的维度。为了生成特征图可以利用集成学习的方法,只需要集成模型的第一层,同时只增加第二层模型的几层专门用于聚合特征,这种方法允许模型集合与不同的架构相结合,可以处理不同的数据,例如输入同一图像或多光谱图像的几种表征,而在推断阶段速度足够快。该方法通过重新部署具有不同变换块的相同特征图来适应分层分类任务,在集成模型不处理的任务中提供了精度,并将结果反馈给Plant Village数据集,RGB图像转换到3个不同的颜色空间以及自定义的Grapevine Yellow数据集,其中包含由两个不同的多光谱相机获取的多光谱图像。

 

图1 N个模型集成的全局方法适用于任何类型的数据,从1到N的每一个模型都被训练用于超类C1到Cn之间的分类对每个模型中选取的特征图进行变换,并通过变换块进行融合。cut _ model可以训练出超类C1到Cn之间的分类,也可以训练出一个超类Ci的类Ci1到Cin之间的分类

 

图2 概述了集成模型的体系结构,每个模型使用不同的输入,并提取低级特征图,不同的特征图是异构的,可以根据各自的输入而在大小和数量上有所不同

 

图3 将提取到的低级特征图通过变换块进行尺寸调整和合并,得到一组新的特征图,可以对cut_model进行反馈

 

图4 "全局"变换块:PCA只应用一次,在地图拼接后,构建来自不同来源的组合

 

图5 "独立"转化块,对每一组特征图进行主成分分析,以确保从每个模型中保留信息

 

表1 每个层次使用不同架构( EfficientNet-B0和EfficientNet-B3)得到的结果;针对不同任务训练的模型:水平1模型的主问题和水平2模型的子问题

 

表2 通过对每个层次使用类似的架构( EfficientNet-B0 )来获得健康/感染状态的识别结果;针对同一任务进行训练的模型

 

图6 ( a )葡萄卷叶伴随病毒叶片被所有模型正确分类;( b )所有模型正确分类的葡萄黄叶;( c )欺骗了最佳个体模型的葡萄黄叶被归类为葡萄卷叶伴随病毒,但通过我们的解决方案被正确归类为葡萄黄

 

来 源

Guillaume H, Eric P, Valeriu V, et al. Journal | [J] ISPRS Journal of Photogrammetry and Remote Sensing. Volume 19, September 2023. 200264

 

编辑

王瑞丹

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。