基于地面和无人机图像的精准农业杂草分割和映射的跨域迁移学习


发布时间:

2024-01-23

来源:

作者:

杂草和作物分割正在成为利用当前计算机视觉和深度学习技术的精准农业中越来越不可或缺的一部分。根据相机从各种平台拍摄的图像,已经广泛开展了研究。无人机(Unmanned aerial vehicles,UAV)和包括农业机器人在内的地面车辆是田间数据采集的两个流行平台。它们都有助于特定地点的杂草管理 (site-specific weed management,SSWM) 以保持作物产量。目前,来自这两个平台的数据是分开处理的,尽管共享相同的语义对象(杂草和作物)。本文提出了一种新的方法,该方法具有基于深度学习的新模型和增强的数据增强管道,可以单独训练田间图像,然后预测田间图像和无人机图像以进行杂草分割和映射。网络学习过程通过浅层和深层的特征图进行可视化。结果表明,在田间数据集中,作物(玉米)、杂草和土壤背景分割的平均交集(intersection of union,IOU)值分别为0.744、0.577、0.979,而同一模型的无人机航拍图像的性能,作物(玉米)分割的IOU值, 杂草和土壤背景分别为0.596、0.407和0.875。为了估计对植保剂使用的影响,我们基于预测的杂草图谱,量化了除草剂喷洒节省率与网格大小(喷洒分辨率)之间的关系。当喷涂分辨率为1.78×1.78 cm²时,喷涂节省率高达90%。研究表明,所开发的深度卷积神经网络可用于野外和航空图像的杂草分类,并取得了令人满意的结果。为了实现这种性能,执行预处理技术以减少两个不同域之间的数据集差异至关重要。

 

图1 田间和无人机实验数据采集位置

 

图2  研究的示意图。该网络仅使用田间图像进行训练,并预测田间图像和裁剪后的航拍图像来绘制田间杂草。

 

图3  提出预处理的可视化,以减少两个数据集之间的差异。

 

图4  开发了基于神经网络结构的编码器和解码器。

 

图5  测试数据集中字段示例(a-j)的语义分割。第一行是原始字段图像。中间一行为ground truth,第三行为所提网络的预测结果。

 

图6  无人机平台遥感玉米田;(a)正交图像,(b)用于测试网络性能的裁剪感兴趣的领域,(c)手动标记的地面真值图(GTM)。

 

图7  从FCN16 (a)、SegNet (b)和所提出的网络(c)预测的地图。

 

图8  SSWM的田间杂草热图(a)和喷洒处方图(b)(网格尺寸:100×100像素,地面representing17.8×17.8 cm²)。

 

图9  基于GTM拟合节省喷洒率与网格尺寸的线性关系。

 

图10  在网络预测图的基础上,拟合了节省喷洒率与网格尺寸之间的线性关系。

 

图11 输入图像(a)及其在第一层(b)和第二十六层(c)的特征映射。

 

图12  实际SSWM部署。

 

图13  田间图像的分割结果。

 

来 源

Gao, J., Liao, W., Nuyttens, D., Lootens, P., Alexandersson, E., Pieters, J., CrossDomain Transfer Learning for Weed Segmentation and Mapping in Precision Farming Using Ground and UAV Images, Expert Systems with Applications (2023), doi: https://doi.org/10.1016/j.eswa.2023.122980

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。