利用深度学习和半自动图像标签的小麦条锈病进行高通量田间检测


发布时间:

2022-05-20

来源:

本站

作者:

PhenoTrait

  条锈病(由Puccinia striiformis f. sp. tritici引起)是小麦最具破坏性的疾病之一,导致大规模流行和严重的产量损失。在条锈病发展的早期施用杀菌剂对控制该疾病至关重要,但往往对眼睛的观察力有很高挑战。深度学习有可能通过处理图像和视频,使高通量表型来监测早期检测条锈病,从而及时应用杀菌剂并提高控制效率。本研究中,我们开发了RustNet,一个基于神经网络的图像分类器,用于有效地监测田间的条锈病。RustNet建立在一个ResNet-18架构上,使用转移学习的方法,用ImageNet大规模视觉识别挑战(ILSVRC)数据集进行预训练。使用智能手机或无人驾驶飞行器在冠层附近获取了不同小麦类型(冬小麦和春小麦)、条件(灌溉和非灌溉)和地点的多个麦田的RGB图像和视频。通过结合机器自动标注和人工修正,进行了半自动的图像标注方法,以提高标注效率(图2)。跨越多个类别(传感器平台、小麦类型和位置)的交叉验证实现了0.72至0.87的曲线下面积。在德国公布的数据集上的独立验证实现了0.79到0.86的准确率。RustNet的最后一个卷积层的可视化显示了对带状锈病的像素的识别。RustNet代码可在https://zzlab.net/RustNet上下载。

 

  如图1所示,残差神经网络ResNet-18的第一个卷积层之后的汇集层用红色突出显示。在残差神经网络-18的结构中,有两种类型的快捷连接(a)。蓝色实线箭头表示相同的当前层是用后面两个卷积层的输出添加的,而虚线箭头表示在添加之前对当前层进行了下采样。应用Grad-CAM(Selvaraju等人,2020)可视化ResNet-18的最后一个卷积层,它突出了对最终预测为疾病或非疾病的关键区域(b)。

 

  图1残差神经网络ResNet-18的结构图和可视化效果

 

  本研究使用的标签软件为ROOSTER,它允许用户在图像上定义行数和列数的瓷砖。图2(a)中默认状态是无病图,可以通过点击所有磁贴的反向按钮(b)或双击特定的磁贴来改变为疾病。两种类型的无病害和所有植物受感染的图像被自动标记(阶段1),以训练RestNet18来开发RustNet。在第二阶段,所有受感染植物的不同图像都以疾病状态启动并由 RustNet 预测(c)。圆点表示预测和当前状态之间的分歧。根据预测结果调整标签(d)以进一步训练RustNet。在第三阶段,部分受感染叶片的图像以非疾病状态开始,由RustNet进行预测(e)。预测结果用来调整标签(f)以进一步训练RustNet。对所有可用的图像重复这三个阶段(g)。RustNet 在不同阶段的性能通过 61 幅图像进行了检查,其中部分叶片有病害,所有图像都是手动标记的。性能由接收者操作特征曲线表示,真实阳性率与错误发现率(h)和错误阳性率(i)。在假阳性率的ROC上添加了一条对角线,显示随机预测(i)的AUC为0.5,而假发现率(h)的ROC为0。

 

  图2 使用 ROOSTER 和 RestNet18 使用半自动图像标记开发 RustNet 的流程图。

 

  本研究利用Grad-CAM方法来可视化RustNet的最后一个卷积层,以了解用所有Pullman图像训练的RustNet是如何对输入图像进行预测的。由于Grad-CAM是针对特定类别的,它将突出显示图像中触发疾病预测的区域。在Marquardt的数据集中(图3),有正确的疾病和非疾病预测的图像被随机选自不同的DAI来测试RustNet。在病害图像中,红色区域的这些像素的权重最高,以激活RustNet进行病害预测,而蓝色区域则没有表示为病害,这与人类对条锈病存在的地方的观察相重合。在非疾病图片中,没有一个像素被突出显示,以激活神经网络来进行疾病预测。

 

  图3 RustNet 网络可视化效果

 

  来源:Tang, Z., Wang, M., Schirrmann, M., Dammer, K. H., Li, X., Brueggeman, R., ... & Zhang, Z. (2022). Affordable High Throughput Field Detection of Wheat Stripe Rust Using Deep Learning with Semi-Automated Image Labeling.

 

  编辑:婷婷

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。