从网络数据到田间实际:农业机器人的低成本无监督域适应


发布时间:

2025-01-05

来源:

作者:

在精准农业中,视觉模型经常与新的、看不见的领域作斗争,这些领域的作物和杂草受到外部因素的影响,导致组成和外观与学习分布不同。本文旨在利用无监督域自适应(Unsupervised Domain Adaptation,UDA)以低成本适应特定领域。本文探索了一种新的域转变,从多样化的大型互联网数据池到由机器人在特定位置收集的小数据集,最大限度地减少了对广泛的现场数据收集的需求。此外,还引入了一种新的模块-基于多级注意力的对抗鉴别器(Multi-level Attention-based Adversarial Discriminator,MAAD),它可以集成在任何检测模型的特征提取器级别。在本研究中,将MAAD与CenterNet结合,同时检测叶、茎和脉实例。我们的结果显示,与基线模型相比,未标记目标域的性能有显著提高,目标检测精度提高了7.5%,关键点检测精度提高了5.1%。

 

图1  探索了一种新的领域转移:从来自世界各地的互联网数据(源领域)到由农业机器人平台在非常特定的位置(目标领域)收集的图像。源域提供了大量具有各种背景和植物外观的图像。这些数据可以很容易地获得,而不依赖于农业车辆和生长季节。最后,引入了一个基于多级注意力的对抗鉴别器(MAAD),使检测模型适应目标域,该目标域由在特定位置和固定相机设置下收集的一小组图像表示。

 

图2  本文提出的基于多级注意的对抗鉴别器(MAAD),用粉红色表示,与检测模型的特征提取器集成在一起。虽然检测模型仅在源数据上进行训练,但MAAD通过低级AAD (LAAD)和高级AAD (HAAD)处理源(橙色)和目标(蓝色)域的低级和高级特征。基于注意力的对抗鉴别器(AAD)利用空间注意力来关注信息区域,然后使用梯度反转层(GRL)和域分类器来区分两个域。MAAD强制特征提取器学习领域不变特征,然后对其进行处理以预测标签。

 

图3  源域(iNaturalist,上)和目标域(RoboRumex,下)之间的定性差异。自然主义的图像提供了各种不同的背景设置,如泥,草,干叶子,石头,以及各种各样的植物大小,从2到25片叶子不等。相反,RoboRumex数据提供了更均匀的外观,植物大小相似,主要是草作为背景。

 

图4  RoboRumex测试集的定性结果:(a)输入图像,(b)基础真值,(c)没有UDA的预测,以及(d)使用我们提出的MAAD的有UDA的预测。蓝色和白色箭头分别突出了与基线相比,MAAD在OBB和关键点检测方面的改进。橙色箭头表示与地面真实值相比未检测到的FPs和小叶子。

 

来 源

Vasileios Tzouras, Lazaros Nalpantidis, Ronja Güldenring. From Web Data to Real Fields: Low-Cost Unsupervised Domain Adaptation for Agricultural Robots. Computer Vision and Pattern Recognition.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。