基于机器人与计算机视觉的温室番茄表型自动分析:从理论到实践


发布时间:

2021-09-19

来源:

本站

作者:

PhenoTrait

  高通量表型在农业许多领域正发挥着越来越重要的作用。育种家利用它来获得感兴趣的性状数据,以便他们能够估计遗传价值并选择有前途的品种,种植者利用它来获取作物收获前的产量情况,以便实现作物产量的准确估算。在大多数的表型分析中,图像分析凭借非破坏性的优势,减少了对人力物力的依赖,在表型获取研究及应用中起着重要作用。自动表型系统结合了可靠的信息采集系统、监测单个果实的高性能分割算法及将图像带入相关空间参考系的配准算法等。近些年来,机器人技术及图像分析技术快速发展,尤其是图像分割领域取得的重大进展,为自动表型系统的开发与应用提供了强有力的技术手段。目前在实际生产环境中得到广泛应用的自动表型系统鲜有报道,本文提出了一种能够用于实际生产的温室番茄表型系统。

 

  机器人平台(图1)能够实现完全自主工作,成像系统由4个低成本摄像头组成,与植物的距离大概为0.5m,而且还通过8个发光二极管为机器人的夜间工作提供照明,采集的现场番茄图像如图2所示。

 

  图1 表型机器人在温室中的初始位置图

  

图2 温室番茄图

 

  基于图像掩膜,采用卷积神经网络算法MaskRCNN对番茄个体及成熟度的检测准确率达到0.9以上(图3)。由于获取的番茄图像往往在水平和垂直方向有较大程度的重叠现象,本文还采用了基于傅里叶变换(DFT)图像配准算法对获取的图像进行配准,配准后能够清晰看到样本间的分离状态(图4)。为了评估表型系统框架的整体性能,对每个地块的收获前所有番茄图像进行了分析,最终预测田块级果实半径与实测每行果实重量间的相关系数r为0.43(图5)。

  

图3 番茄检测;(A)和(D)为性状和色彩空间分割;(B)和(E)为采用MaskRCNN对单个番茄检测;(C)和(F)为采用MaskRCNN对番茄成熟度的检测

 

图4 番茄图像分割图

 

  图5 预测果实半径与与平均收获果实重要的像素级散点图

 

  来源: Fonteijn H, Afonso M, Lensink D, et al. Automatic Phenotyping of Tomatoes in Production Greenhouses Using Robotics and Computer Vision: From Theory to Practice[J]. Agronomy, 2021, 11(8): 1599. https://doi.org/10.3390/agronomy11081599

 

  编辑: 小王博士在努力

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。