基于U-Net的玉米雄穗面积动态监测


发布时间:

2022-11-25

来源:

植物表型资讯

作者:

PhenoTrait

玉米雄穗面积的动态变化反映了玉米植株的生长发育情况,对雄穗面积及其动态的有效监测有利于玉米的育种和管理。目前,对玉米雄穗的监测主要依靠手工作业,劳动强度很大,而且可能会出现人为误差。研究表明,U-Net模型对使用RGB图像的作物分割是有效的。然而,尚无U-Net模型用于玉米雄穗分割的系统研究。针对这一问题,本研究基于RGB图像全面分析U-Net模型在多元情境中(不同品种、阶段、空间分辨率)分割雄穗的表现,并探讨了基于该模型进行玉米抽雄动态监测的潜力。

本研究的目的是:(1) 评估使用轻量级网络和重量级网络作为特征提取网络的U-Net模型在近地RGB图像中分割玉米雄穗的准确性;(2) 通过将U-Net模型应用于不同的玉米品种、不同抽雄阶段的玉米以及不同空间分辨率的图像,评估模型在分割玉米雄穗方面的鲁棒性;(3) 利用多时空近地RGB图像监测玉米雄穗面积的变化;(4) 评估所选模型从无人机RGB图像中分割玉米雄穗的能力。

近地面的图像采集使用索尼DSC-RX0M2数码相机,数据采集时相机位于玉米雄穗上方1.50米处。采集周期从玉米开始抽雄到散粉完全结束,每天收集图像,雨天除外。使用大疆M600-Pro搭载了索尼α7 II数码相机进行无人机图像的采集。采集图像时,无人机的飞行高度和速度分别为15米和2.1米/秒,旁向重叠度为80%,航向重叠度为90%。无人机数据采集于2020年8月20日12:00至14:00进行。获取的数据按照7:3的比例划分为训练集和测试集,其中,训练集中90%的数据用来训练模型,10%的数据用于模型的验证,防止模型过拟合。

我们将U-Net模型和两个特征提取网络(MobileNet和Vgg16)结合对雄穗进行分割以比较轻量级和重量级特征提取网络的分割精度。并基于时间序列RGB图像中雄穗面积随时间的变化来表示玉米的抽雄动态。

图片图1 本研究的技术流程图。

结果与分析:模型对比:采用重量级网络Vgg16的U-Net模型(图2,表1)的分割精度(IoU=0.71)高于采用轻量级网络MobileNet的U-Net模型(IoU=0.63),前者效率(每幅图0.79s)略低于后者(0.57s)。

图片图2用不同的网络作为特征提取网络的U-Net模型的分割结果(注:蓝色的圆圈代表叶子和雄穗之间的遮挡情况,红色圆圈代表雄穗之间的遮挡情况)。

图片表1以不同网络作为特征提取网络的U-Net模型对整个抽抽雄阶段的数据集的分割精度

不同情境模型鲁棒性分析:采用MobileNet的U-Net模型对于不同抽雄期(IoU=0.46-0.67)、不同品种(IoU=0.58-0.76)和不同分辨率(IoU=0.48-0.63)数据集的分割精度低于采用Vgg16的U-Net模型(图3)。采用Vgg16的U-Net模型在不同抽雄期(IoU=0.63-0.76)、不同品种(IoU=0.65-0.79)、不同分辨率(IoU=0.57-0.71)下保持了良好的玉米雄穗分割精度。在3个不同抽雄阶段(表2),模型对完全抽雄阶段的测试集(IoU=0.76)的分割精度最高。部分抽雄阶段的测试集上最低(IoU=0.63)。这是由于完全抽雄阶段数据集的标注样本多且样本特征明显;在8个品种中(表3),模型对京农科728的分割精度最低(IoU=0.65)。郑单958的分割精度最高(IoU=0.79)。这得益于郑单958的雄穗特征明显且呈现簇状,有粗大的分支和较高的亮度值;在6个空间分辨率中(表4),分割精度随着图像分辨率粗化而下降,但在5.60毫米分辨率图像中依然保持了较高的分割精度(IoU=0.57),在分辨率3.06毫米的无人机RGB图像中(表5)也达到了良好的分割精度(IoU=0.54)。

图片图3 采用Vgg16和MobileNet为特征提取层的U-Net模型在不同数据集上的IoU。

图片表2 采用Vgg16的U-Net模型对不同抽雄阶段的数据集的分割精度

图片表3 采用Vgg16的U-Net模型对各种数据集的分割精度

图片表4 采用Vgg16的U-Net模型对不同分辨率数据集的分割精度

图片表5 采用Vgg16的U-Net模型对无人机数据集的分割精度

抽雄动态监测:U-Net模型监测的不同品种的玉米抽雄动态与实际情况基本一致。雄穗面积误差较大的情况(偏差>10%)出现在抽雄初期和散粉后期,抽雄初期雄穗特征不明显和散粉后期的雄穗的亮度值降低,面积变小是导致误差的主要原因。

图片图4 监测在不同日期播种的8个品种的抽雄面积 (a:播种日期为2019年6月13日;b:播种日期为2019年6月23日,先玉335因倒伏而无法监测;c:播种日期为2019年7月3日)。

结论:综上所述,结果表明,U-Net模型在各种复杂情况下对玉米雄穗有良好的分割精度。本研究为今后在作物表型实验中监测玉米雄穗状态提供了一种有效的方法。

 

来 源

Yu, X., Yin, D.M., Nie, C.W., Shi, L*. Jin, X.L.*. Maize tassel area dynamic monitoring based on near-ground and UAV RGB images by U-Net model, Computers and Electronics in Agriculture, 203(2022), 107477. DOI: https://doi.org/10.1016/j.compag.2022.107477.

 

 

作者介绍

论文第一作者为中国农业科学院作物科学研究所博士研究生余汛和助理研究员殷大萌,论文通讯作者为中国农科院作物科学研究所的金秀良研究员及助理研究员石磊。本研究得到中国农业科学院中央公益事业单位基础研究基金(Y2020YJ07,Y2022XK22),国家自然科学基金(42071426, 51922072, 51779161, 51009101),“十四五”国家重点研发计划(2021YFD1201602),中国农业科学院科技创新工程,海南省崖州湾种子实验室(JBGS+B21HJ0221),中国农业科学院南繁研究院南繁专项资助(YJTCY01,YBXM01),水资源与水电工程科学国家重点实验室(2021NSG01),江苏省农业科技自主创新专项资金(CX(21)3065)的资助。

中国农业科学院作物科学研究所作物表型创新研究组研究方向为定量遥感在农业监测中的应用、光学传感器的应用和开发、作物表型平台的研究与应用、作物模型和多源遥感的数据同化、多源图像数据的处理、表型组与基因组关联分析与关键功能基因挖掘。

 

 

扩展阅读

 

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。