基于机器人的作物表型分析已成为大规模评估作物表型特征的关键技术，这对于开发新型作物品种、提高生产力并适应气候变化具有重要意义。然而，开发和部署作物表型分析机器人面临诸多挑战，如复杂多变的作物形态使机器人目标检测变得复杂，动态和无结构的环境干扰机器人控制，以及大数据的实时计算和管理对硬件/软件的要求等。本文专门针对第一个挑战，提出了一种新颖的数字孪生（Digital Twin, DT）/MARS-CycleGAN模型，通过图像增强来改善我们的模块化农业机器人系统（MARS）在复杂和多变背景下的作物目标检测能力。核心思路是在CycleGAN模型中的循环一致性损失基础上，设计并引入了新的DT/MARS损失，来惩罚由MARS捕获的真实作物图像与DT/MARS-CycleGAN生成的合成图像之间的不一致性。因此，合成的作物图像在真实感上更加接近真实图像，并用于微调目标检测器，如YOLOv8。大量实验表明，新的DT/MARS-CycleGAN框架显著提升了MARS的作物/行检测性能，为作物表型分析机器人领域做出了贡献。我们已将代码和数据公开，供研究社区使用（https://github.com/UGA-BSAIL/DT-MARS-CycleGAN）。

图1 农业机器人系统（左图）、DT/MARS-CycleGAN模型（中图）以及作物目标/行检测网络（右图）的示意图。

图2 由不同模型生成的仿真到现实的合成图像。

图3用不同训练数据（仅仿真、CycleGAN、RetinaGAN 和 DT/MARS-CycleGAN）训练的模型对真实图像中作物检测的可视化结果。最后一行展示了 DT/MARS-CycleGAN 模型的一个漏检案例。

图4 在仿真中生成的不同数量训练样本上训练的YOLOv8模型的作物检测结果。

图5 对 Lincolnbeet 数据集在更多多样化场景下的交叉评估，包括不同的生长阶段、土壤背景、光照条件、杂草和遮挡情况。从 (a) 到 (h)，展示了四种不同的光照条件和土壤背景。(a) 和 (c) 展示了早期生长阶段，而 (b) 和 (d) 描绘了生长良好的植物；(e) 和 (f) 显示了该方法在嘈杂背景下的准确性，(g) 和 (h) 则体现了其在存在杂草和遮挡情况下的有效性。

图6仿真到现实田间实验的示意图。(a) 显示了实验田概览；(b)、(c) 和 (d) 分别为羽衣甘蓝、甘蓝和卷心菜的实验田。

图7 行检测算法的示意图。左图：用于评估行检测的两个主要参数：角度偏移（θ）和距离偏移（d）。右图：真实农田中行检测的示例。

图8 DT/MARS 仿真到现实方法与其他三种方法在三个不同蔬菜作物（羽衣甘蓝、甘蓝和卷心菜）田地中的航向误差和横向误差比较。第一行显示航向误差，第二行显示横向误差。

来源

Liu D, Li Z, Wu Z, et al. Digital Twin/MARS‐CycleGAN: Enhancing Sim‐to‐Real Crop/Row Detection for MARS Phenotyping Robot Using Synthetic Images[J]. Journal of Field Robotics, 2024. https://doi.org/10.1002/rob.22473

编辑

王永贤