基于知识蒸馏的轻简高效植物病害检测模型构建


发布时间:

2023-08-07

来源:

本站

作者:

PhenoTrait

植物病害的及时诊断可以抑制病害蔓延、防止大面积减产,对保障粮食生产安全具有重要作用。基于目标检测的植物病害诊断具有较高的分类精度和定位精度,受到广泛关注。但是,现有的病害诊断方法仍然局限于单一作物的病害诊断。更重要的是,现有方法涉及大量模型参数,难以配置在农业移动设备,而减少模型参数则会降低模型精度。为了解决这些问题,本研究提出了一种基于知识蒸馏的植物病害检测方法,可以轻简、高效地诊断不同作物的多种病害。具体而言,本研究设计了2种策略分别构建4个不同的轻量模型作为学生模型(Student model):YOLOR-Light-v1, YOLOR-Light-v2, Mobile-YOLOR-v1和Mobile-YOLOR-v2,并将YOLOR模型作为教师模型(Teacher model)。多级知识蒸馏方法被用来提升轻量模型的性能,在少量模型参数的基础上,PlantDoc数据集的测试精度可以达到60.4%,优于现有方法。总的来说,多级知识蒸馏技术可以在减轻模型量级的基础上保证模型精度。不止如此,这一技术还可以拓展应用至其他任务,比如影像分类和影像分割,可以实现病害自动检测,并推广轻量模型在智慧农业领域的大范围应用。本研究的代码可在以下链接获取: https://github.com/QDH/MSKD.

 

1 基于深度学习的植物病害检测方法示例

 

2 模型训练和现实中应用的对比。轻量模型比复杂模型更易配置在移动设备,特别是田间便携式设备,在智慧农业中具有极大的应用潜力。(A) 在服务器中训练;(B) 在移动设备上应用。

 

3 不同植物上的不同病害示例

 

4 多级知识蒸馏的框架。教师模型和学生模型的输入都是图像,不同之处在于教师模型利用骨干和颈部蒸馏器来引导学生模型的骨干和颈部进行训练,头部蒸馏器提供了整个学生模型的反馈。检测模型利用3个损失函数来比较图像标签和多级学生特征,并向学生模型提供反馈。注意:检测模型和头部蒸馏器的详细信息在图的右侧。

 

5 教师模型的结构。通过主干部分的4个独立特征提取阶段,即Extract-1、Extract-2、Extract-3和Extract-4,将输入图像转换为具有不同语义级别的4个主干特征。然后,颈部使用融合模块将主干特征组合起来,并生成4个颈部特征,这些特征封装了不同级别的语义信息。最后,头部将颈部特征转换为多层次特征。

 

6 模型减量策略。在教师模型中,(A)为原始块实例,(C)N3个原始块组成的教师模型原始架构。在学生模型中,(B)为简化原始块获得的有效块,图D)为具有M3(M3<N3)有效块的有效架构。Mobile-BlockMobileNetv3导出,如图(E)所示,Se Module和剩余连接部分可以被删除,大多数激活函数可以由H-Sigmoid替代。

 

7 多级蒸馏后信息增强的实例。该图表示多级蒸馏后模型输出边界框上方的置信值显著增加。

 

来源

Huang Q, Wu X, Wang Q,Dong X, Lei L, Wu X, Gao Y, Hao G. Knowledge Distillation Facilitates the Lightweight and Efficient of Plant Diseases Detection Model. Plant Phenomics,2023,5:Article 0062.

链接

https://doi.org/10.34133/plantphenomics.0062

编辑

段博

 

 

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。