基于CycleGAN深度图像转换模型的番茄束识别


发布时间:

2022-07-20

来源:

本站

作者:

PhenoTrait

  农作物发生细胞分裂的尖端和根部对周围环境非常敏感。因此,在番茄生长过程中,了解与花簇和果实相关的束茎发育至关重要。在番茄生长初期实施束茎发育的有效监控有助于对提高番茄产量与品质。随着农业信息化和人工智能技术的发展,利用机器人实时获取与分析植物图像已经较为可行。本研究运用了之前研究中提出的基于机器人的图像获取技术采集了番茄束茎的图像,着重探究了定位番茄束和分析番茄生长状态的方法。

 

  研究选用了Dafnis番茄,在种植180天后开始进行了数据采集。5关节的UR5机械臂搭配自动驾驶平台车被选用作为RGB图像和深度图像采集的平台。相机的具体型号为Realsense 435i,最大分辨率是1600×800。在图像数据分析中,研究首先利用CycleGAN算法实现了番茄植株RGB图像到深度图像的转换。然后对转换后的深度图像进行了预处理,包括HSV转换和Otsu阈值分割,最后结合形态学处理算法获取了番茄生长束的分割图像。

 

  通过对比番茄生长束的真实图像与分割图像发现,对于深度相机图像而言,像素级的假阴性(FN)和假阳性(FP)分别为17.55±3.01%和17.76±3.55%。对于基于CycleGAN算法的深度图像而言,FN值和FP值分别为19.24±1.45%和18.24±1.54%。真实图像与深度图像和基于CycleGAN的深度图像的平均交并比(mIoU)也分别达到了63.56±8.44%和69.25±4.42%。综合结果表明运用CycleGAN算法转换RGB图像后能够以较高精度地识别番茄植株的生长束茎。该研究在番茄温室中基于图像采集机器人证实了利用CycleGAN算法和低成本成像技术现场提取植株束茎的可行性。该方法有望应用于无人机器人平台对温室番茄生长各项指标的视觉监控的研究中。

 

  图1 温室图像采集的机器人平台(a)以其末端执行器(b)的示意图

 

  图2 本研究中CycleGAN算法结构示意图

 

  图3 RGB图像和深度图像生成器之间的关系

 

  图4 在三种不同HSV空间下的深度图像分割图(a:H-0~65;S-150~255;V-150~255)(b:H-0~30;S-180~245;V-250~255)(c:H-0~30;S-248~255;V-240~255)

 

  图5 本研究的图像处理流程示意图

 

  来源:Jung D H, Kim C Y, Lee T S, et al. Depth image conversion model based on CycleGAN for growing tomato truss identification[J]. Plant Methods, 2022, 18(1): 1-15.

 

  编辑:张金诺

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。