基于低成本标注和无人机RGB图像的油菜花簇自动计数方法


发布时间:

2023-07-14

来源:

植物表型资讯

作者:

PhenoTrait

开期是油菜生长的关键时期,统计油菜花簇数量可有效预测产量,然而,现场计数是一项耗时且费力的任务。为了解决这个问题,本文提出了一种基于无人机的深度学习计数方法,该方法将油菜花簇的田间计数转化为密度估计问题。首先,使用无人机拍摄不同开花期的油菜田图像,并进行拼接、裁剪、增强等预处理操作,得到每个小区块的油菜花簇图像。其次,使用两种不同的标注方式,分别对油菜花簇进行矩形框标注和中心点标注,构建了两个油菜花簇标注数据集RFRB和RFCP。再次,设计了一个基于回归估计的轻量级深度神经网络RapeNet,以及在其基础上引入坐标注意力机制的改进网络RapeNet+,并使用贝叶斯损失函数来约束网络的训练过程。最后,使用RFRB和RFCP数据集对RapeNet和RapeNet+进行训练和测试,并与其他几种基于目标检测或回归估计的计数方法进行了对比实验和可视化分析。

 

结果表明,RapeNet和RapeNet+在RFRB和RFCP数据集上都取得了优异的计数性能,超过了其他对比方法。在RFRB数据集上,RapeNet+的平均准确率(Acc)、相对均方根误差(rrMSE)和决定系数(R2)分别达到了0.9062、12.03和0.9635;在RFCP数据集上,这三个指标分别达到了0.9538、5.61和0.9826。此外,RapeNet和RapeNet+还具有较小的模型容量(5.8MB)和较高的分辨率适应性。通过热图可视化结果可以看出,RapeNet和RapeNet+能够较好地区分重叠和粘连的油菜花簇,并提供了一定的可解释性。

 

图1 应用深度学习网络进行无人机油菜花簇计数示意图

 

图片

图2 研究区地理位置及无人机遥感影像拼接图。a研究区域在亚洲的位置。b实验区位于武汉市的位置。c实验区无人机图像拼接图。d部分地块油菜图像的放大图

 

图3 油菜花簇标记的两种方法。a 原始图像,油菜花簇的矩形框标记,菜花簇的中心点标记。

 

图4 RapeNet网络结构

 

图5 RapeNet+网络结构

 

 图6 RFRB上不同网络的化结果

 

图片

图7 RFRB实验结果可视化

图片图8 RFRB 上(a) RapeNet 和(b) RapeNet+的决定系数

 

图9 RFCP 上(a) RapeNet 和(b )RapeNet+的决定系数

 

图10 自然条件下田间油菜花簇图像及油菜花簇数预测

 
 
来 源

Li J, Wang E, Qiao J, et al. Automatic rape flower cluster counting method based on low-cost labelling and UAV-RGB images[J]. Plant Methods, 2023, 19(1): 1-19.

 

编辑

刘哲昕
 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。