玉米穗计数网络V3: 基于引导性上采样与背景抑制的可解释性植物计数


发布时间:

2021-03-18

来源:

本站

作者:

陆昊

本文为了解决植物计数方法的可解释性问题,提出了一种基于引导性上采样与背景抑制的可解释植物计数网络,并提出了一个由无人机采集的玉米穗计数数据集。

 

植物计数在农业中有着广泛的应用场景。由于无人机等图像采集设备的应用,以及计算机视觉技术尤其是基于深度学习的计算机视觉计数的发展,通过视觉进行植物自动计数成为了研究热点。这其中,基于局部计数框架设计的植物计数方法,能够获得较高的计数精度。然而,由于该类方法用低分辨率的监督信号去监督低分辨率的特征图回归,最终的结果无法直观的解释目标是否被计数,也使得失败样例难以被分析,从而限制了算法的性能。在增强算法可解释性的启发下,本文设计了引导性上采样算法与背景抑制机制,并将他们与我们前期的工作TasselNetV2相结合,提出了TasselNetV3系列算法。

 

可解释性示意图

 

局部计数算法框架

 

引导性上采样

 

解决可解释性差这一问题的首要步骤是提升图结果的分辨率。传统局部计数方法在生成低分辨率计数图后,通过简单平均的方式将计数值平均分配到子块中,以此达到提升分辨率的效果。然而实际目标在图像子块中并不总是均匀分布,这种分配会引入新误差。为此,我们提出引导性上采样,以计数结果的特征图为引导进行数值重分配。 我们将引导性上采样与TasselNetV2相结合,即可获得TasselNetV3的第一个版本:TasselNetV3-Lite.

 

TasselNetV3-Lite 网络结构图

 

与前景相似背景易被错误计数

 

在TasselNetV3-Lite的可视化结果中我们发现,网络经常将一些与前景类似的背景错误计数。因此我们提出TasselNetV3-Seg系列算法,通过将局部计数网络与分割网络相结合的方式对背景进行抑制,从而减少背景对计数网络的影响,最大程度的发挥网络在有目标区域的计数性能。

 

TasselNetV3-Seg 系列网络结构图

 

为了验证我们的算法,我们在4个数据集上验证了我们算法的性能,其中包括一个我们提出的无人机视角玉米穗计数数据库。该数据库共包含400张玉米穗图像,手动标注了70870个目标点。实验结果证明,我们的方法显著优于TasselNetV2,并且与其他目标计数方法相比很有竞争力。详细分析实验结果请参考论文。

 

验证数据库图像示意图

 

MTC-UVA数据库上的性能评估

 

MTC数据库上的性能评估

 

WED数据库上的性能评估

 

RPC数据库上的性能评估

 

MTC-UVA数据库上的可视化结果

 

MTC数据库上的可视化结果

 

WED数据库上的可视化结果

 

RPC数据库上的可视化结果

 

作者介绍:

该论文作者单位包含华中科技大学、中国农业大学和武汉工程大学,其中:

陆昊,论文第一作者,华中科技大学副教授,华中科技大学人工智能与自动化学院博士毕业,澳大利亚阿德莱德大学博士后。其研究方向为目标计数(含植物计数)、稠密预测、迁移学习和细粒度视觉分类。

刘良,华中科技大学人工智能与自动化学院博士生在读。其研究方向为目标计数与强化学习。

李亚楠,华中科技大学人工智能与自动化学院博士毕业,现为武汉工程大学讲师,研究方向为深度学习及其在农业、植物科学中的应用。

赵晓明,中国农业大学田间测试管理员,吉林农业大学本科和硕士。

王喜庆,中国农业大学教授,作物功能基因组与分子育种研究中心负责人,西北农林科技大学本科、硕士和博士,研究方向为农业与表型机器人。

曹治国,论文通讯作者,华中科技大学教授,历任华中科技大学图像识别与人工智能研究所所长、自动化学院院长、“多谱信息处理技术”国家级重点实验室主任。曹教授团队长期从事图像理解与分析、深度信息提取与真三维视频处理、运动检测与行为分析、计算机视觉在农业中的应用等方向研究。论文“In-field automatic observation of wheat heading stage using computer vision”获欧洲农业工程协会2016-2018杰出论文奖(全球共三篇)。

 

来源:

H. Lu, L. Liu, Y. -N. Li, X. -M. Zhao, X. -Q. Wang and Z. -G. Cao, "TasselNetV3: Explainable Plant Counting With Guided Upsampling and Background Suppression," in IEEE Transactions on Geoscience and Remote Sensing, doi: 10.1109/TGRS.2021.3058962.

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。