学术中心
从网络数据到田间实际:农业机器人的低成本无监督域适应
发布时间:
2025-01-05
来源:
作者:
在精准农业中,视觉模型经常与新的、看不见的领域作斗争,这些领域的作物和杂草受到外部因素的影响,导致组成和外观与学习分布不同。本文旨在利用无监督域自适应(Unsupervised Domain Adaptation,UDA)以低成本适应特定领域。本文探索了一种新的域转变,从多样化的大型互联网数据池到由机器人在特定位置收集的小数据集,最大限度地减少了对广泛的现场数据收集的需求。此外,还引入了一种新的模块-基于多级注意力的对抗鉴别器(Multi-level Attention-based Adversarial Discriminator,MAAD),它可以集成在任何检测模型的特征提取器级别。在本研究中,将MAAD与CenterNet结合,同时检测叶、茎和脉实例。我们的结果显示,与基线模型相比,未标记目标域的性能有显著提高,目标检测精度提高了7.5%,关键点检测精度提高了5.1%。
图1 探索了一种新的领域转移:从来自世界各地的互联网数据(源领域)到由农业机器人平台在非常特定的位置(目标领域)收集的图像。源域提供了大量具有各种背景和植物外观的图像。这些数据可以很容易地获得,而不依赖于农业车辆和生长季节。最后,引入了一个基于多级注意力的对抗鉴别器(MAAD),使检测模型适应目标域,该目标域由在特定位置和固定相机设置下收集的一小组图像表示。
图2 本文提出的基于多级注意的对抗鉴别器(MAAD),用粉红色表示,与检测模型的特征提取器集成在一起。虽然检测模型仅在源数据上进行训练,但MAAD通过低级AAD (LAAD)和高级AAD (HAAD)处理源(橙色)和目标(蓝色)域的低级和高级特征。基于注意力的对抗鉴别器(AAD)利用空间注意力来关注信息区域,然后使用梯度反转层(GRL)和域分类器来区分两个域。MAAD强制特征提取器学习领域不变特征,然后对其进行处理以预测标签。
图3 源域(iNaturalist,上)和目标域(RoboRumex,下)之间的定性差异。自然主义的图像提供了各种不同的背景设置,如泥,草,干叶子,石头,以及各种各样的植物大小,从2到25片叶子不等。相反,RoboRumex数据提供了更均匀的外观,植物大小相似,主要是草作为背景。
图4 RoboRumex测试集的定性结果:(a)输入图像,(b)基础真值,(c)没有UDA的预测,以及(d)使用我们提出的MAAD的有UDA的预测。蓝色和白色箭头分别突出了与基线相比,MAAD在OBB和关键点检测方面的改进。橙色箭头表示与地面真实值相比未检测到的FPs和小叶子。
Vasileios Tzouras, Lazaros Nalpantidis, Ronja Güldenring. From Web Data to Real Fields: Low-Cost Unsupervised Domain Adaptation for Agricultural Robots. Computer Vision and Pattern Recognition.
编辑
王春颖
推荐新闻
视频展示