基于深度学习的夜间高温导致水稻垩白的高通量表型分析


发布时间:

2022-03-20

来源:

本站

作者:

PhenoTrait

  本文基于卷积神经网络(CNN)融合梯度加权类激活映射(Grad-CAM)全自动方法检测了六种基因型水稻图像的白垩度。研究围绕三个目的展开:从分类性能方面找出抛光籽粒最好的Grad-CAM模型;比较Mask R-CNN与弱监督Grad-CAM方法的分割性能;抛光籽粒模型对未抛光籽粒的适用性。

 

  结果显示,ResNet-101模型在抛光籽粒白垩度检测方面具有更好的性能,并且具有相对较小的存储和计算时间需求。

 

  此外,本研究发现Grad-CAM模型比Mask R-CNN性能更好。图5显示,以ResNet-101为主干的Grad-CAM模型较低中间层的热图(Layer2_0_conv2)能够更好近似白垩区。图6显示不同模型产生的热图和相应的二值化白垩度掩模的比较,及用Mask R-CNN获得的掩模。可以看出使用ResNet-101模型获得的结果最好。与未抛光籽粒相比,抛光籽粒的白垩度检测更容易,而且抛光籽粒模型不能直接应用到未抛光籽粒上。

 

  为探索Grad-CAM方法对未抛光籽粒的适用性,研究建立以下三种模型:(1)针对抛光籽粒图像训练的模型,称为抛光模型;(2)针对未抛光籽粒图像训练的模型,称为未抛光模型;(3)针对抛光籽粒图像训练,然后在未抛光籽粒图像上进行微调的模型,称为混合模型。如表1所示,混合模型的分类效果总体表现最好。图7直观显示了四个未抛光籽粒的抛光、未抛光和混合模型的白垩度预测模型的输出。这些结果共同表明,使用抛光或未抛光籽粒开发的模型需要根据研究目标使用,即两类模型的可适用性较差。

 

  本研究训练CNN模型区分垩白和非垩白水稻籽粒,并使用Grad-CAM识别垩白区域。结果显示弱监督深度学习模型可以辅助水稻的表型和质量研究,成功证明了该工具在准确获取夜间高温诱导的水稻不同分蘖垩白差异水平上的应用。

 

  图1. Grad-CAM模型。

 

  图2. 图像预处理流程。包括i. 图像格式转换;ii. RGB图像转为灰度图像;iii. 水稻边缘检测;iv. 识别单个稻米边界框;v.提取感兴趣区域。

 

  图3. (a)人工标注:每个籽粒都被标记为白垩色或非白垩色;(b)使用VGG图像标注多边形工具标记白垩区

 

  图4. 预测精度计算。(a)垩白籽粒;(b)实际垩白区域;(c)二值化垩白区域;(d)预测的垩白区域面积;(e)预测的二值化垩白区域;(f)实际和预测的二值化垩白区域的交集(交集区域像素数为5167);(g)实际和预测的二值化垩白区域并集(并集区域像素数为6370);(h)计算IoU。

 

  图5. 10个垩白籽粒图像样本Grad-CAM(ResNet-101)热图实例。每个籽粒对应四个层的热图:(1)layer 1_2conv2;(2) layer 2_0conv2;(3) layer 3_1conv2;(4) layer 4_1conv3。每个热图对应三个阈值T(20%、40%和60%)得出的IoU

 

  图6. Grad-CAM热图和对应二值化垩白度掩模示例。(a)五个垩白籽粒样本图像;(b1)SqueezeNet-1.0热图;(b2)SqueezeNet-1.0掩模;(c1)DenseNet-121热图;(c2)DenseNet-121掩模;(d1)ResNet-101热图;(d2)ResNet-101掩模;(e1)VGG-19热图;(e2)VGG-19掩模;(f1) EfficientNetB4热图;(f2)EfficientNetB4掩模;(g1)Mask R-CNN原始掩模;(g2)Mask R-CNN二元掩模

 

  表1. 弱监督Grad-CAM方法中以ResNet-101为骨干的未抛光籽粒分类结果

 

  图7. 四个未抛光籽粒垩白的二元掩模实例。基于阈值T=60%的Grad-CAM热图(以ResNet-101为主干)获得的二值掩模分别以实际、抛光、未抛光和混合模型的形式示出

 

  来源:Wang, C., Caragea, D., Kodadinne Narayana, N. et al. Deep learning based high-throughput phenotyping of chalkiness in rice exposed to high night temperature. Plant Methods 18, 9 (2022). https://doi.org/10.1186/s13007-022-00839-5

  

  编辑:薛定谔的猹

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。