机器人式田间蓝莓果实表型分析系统MARS-PhenoBot


发布时间:

2025-05-30

来源:

作者:

准确的蓝莓果实表型分析,包括产量、果实成熟度和紧凑度,对于优化作物育种和管理实践至关重要。机器视觉和深度学习的最新进展显示出自动化表型分析和取代手动采样的潜力。本文提出了一种名为 MARS-Phenobot 的机器人式蓝莓表型分析系统,该系统在田间收集数据并测量与水果相关的表型性状,例如果实数量、成熟度和紧凑度。工作流程包括四个部分:用于高通量数据收集的机器人多视图成像系统、用于无掩码数据标记的视觉基础模型(Segment Anything Model,SAM)、用于检测蓝莓簇和分割水果的定制深度学习模型BerryNet,以及用于估计产量、成熟度和簇紧凑度的后处理模块。通过集成低级金字塔特征、快速部分卷积块和 BiFPN 特征融合,设计了深度学习模型 BerryNet,用于检测水果簇和分割单个浆果。它的性能优于其他网络,在聚类检测中实现了 54.9% 的平均精度 (mAP50),在果实分割中实现了 85.8%,参数更少,计算要求更少。从图像中提取的果实数和聚类数都与产量密切相关。集成多视图水果计数提高了产量估算的准确性,实现了 23.1% 的平均绝对百分比误差 (MAPE) 和最高的 R²值为 0.73,而成熟度级别估计与手动计算密切相关,平均绝对误差 (MAE) 约为 5%。此外,还引入了两个与果实紧密度相关的指标,包括簇紧密度和果实距离,这可能有助于育种者评估不同基因型的机器和手工收获能力。最后, 11 个蓝莓基因型上评估了机器人式蓝莓果实表型分析系统,证明了区分高产、早熟和松散聚集栽培品种的潜力。本文研究结果为自动化田间蓝莓果实表型分析提供了一种有前途的解决方案,有可能取代劳动密集型的手动采样。此外,这种方法可以推进蓝莓育种计划、精确管理和机械/机器人收获。

 

图1  所提出的蓝莓果实表型分析工作流程图,包括四个阶段:数据收集、训练数据集生成、模型训练和表型性状提取。

 

图2  位于佛罗里达州Citra的蓝莓田概述。(a)谷歌地图上的地理位置;(b)实地第2行和第3行的正射影像,这些影像是使用移动平台专门瞄准和扫描的。

 

图3  田间机器人表型分析平台和数据采集。(a)带有多视角成像系统的地面机器人;(b)-(d)平台捕获的俯视图、左视图和右视图(FLR 14–442的基因型)的示例。

 

图4  不同成熟期浆果的自动像素标签生成流程图。(a)来自先前检测数据集的边界框;(b)使用成熟度分类器将边界框重新分类为三类:未成熟(黄色)、半成熟(红色)和成熟(蓝色);(c)使用SAM模型生成的逐像素掩码标签。

 

图5  聚类检测数据集生成的图示。(a) 来自像素级水果分割数据集的可视化示例(基因型:FLR14-442,黄色、红色和蓝色掩码分别表示未成熟、半成熟和成熟的浆果。(b) 聚类提取方法的结果是,红框是基于二值化浆果区域提取的聚类;(c) 手动校正后的最终聚类注释。

 

图6  BerryNet 体系结构的图示。它包含三个主要增强功能:1) 增强 P2 层以更好地捕获小对象的特征;2) 实现 BiFPN 以改进特征融合,以及 3) 用更高效的 C2f 更快的块替换 C2f 块以加速推理。

 

图7  (a) 原始 C2f 模块和 (b) 改进的 C2f-faster 模块之间的比较。在 C2f-faster 模块中,FasterNet Block 取代了 Bottleneck 块。FasterNet Block 中的 Pconv 选择性地仅处理输入通道的子集 cp,使用常规卷积进行空间特征提取,同时保持其余通道不变。

 

图8  簇紧凑度计算图示。从左到右:使用 BerryNet 预测的水果簇的粗略区域;由聚类区域内的水果掩膜分布定义的最小封闭矩形;以及簇紧凑度的计算。

 

图9  水果距离计算图示。左图是在田间收集的原始图像片段,右图是每种浆果的最近邻的可视化。蓝点是中心点,红线连接它们相应的最近邻域。

 

图10  水果成熟度分类器的评估。(a) 混淆矩阵;(b) 预测案例示例。主要失败源于其他水果或叶子引起的遮挡、以低分辨率或低对比度为特征的图像质量差以及手动注释不准确。

 

图11  手动注释和预测的掩码与 SAM模型的比较:(a) 和 (c) 是手动注释的蓝莓掩码(地面实况);(b) 和 (d) 是来自自动像素标签生成方法的蓝莓掩码。黄色、红色和蓝色面膜分别代表未成熟、半成熟和成熟的蓝莓。

 

图12  使用 BerryNet 实现水果聚类检测和水果分割的可视化。(a)-(d) 是同一植物不同视图的可视化示例:(a) 和 (b) 来自俯视图,而 (c) 和 (d) 来自侧视图。红色矩形表示预测的果实簇;黄色、红色和蓝色掩码分别代表对未成熟、半成熟和成熟浆果的预测,标记为“im”、“se”和“ma”。

 

 图13  蓝莓簇提取结果图示(基因型:FLR-13-218)。从左到右分别是顶视图、左视图和右视图的提取结果。顶部图像是浆果和果簇的二进制掩码,而底部是原始图像的可视化。

 

图14  使用 BerryNet 跨单视图或多视图方法评估产量估算。(a) 使用来自单视图或多视图的预测水果计数进行水果计数回归;(b) 使用来自单视图或多视图的预测聚类计数的水果计数回归;(c) 三个视图的蓝莓可见性比较。带星号 (*) 的植物于 2023 年 4 月 12 日收获,其他植物于 2023 年 5 月 9 日收获。

 

图15  使用 BerryNet 评估成熟度估计。用于成熟率估计的单/多视图的线性回归。

 

  图16  不同基因型之间簇级紧凑度的比较。(a) 26 株植物之间簇级紧凑度的箱线图;从左到右,集群级别的紧凑度变小,这意味着较低的紧凑度。方框上方的红色标签是重要字母。(b) 来自不同植物的集群级紧凑度示例。

 

图17  不同基因型之间的果实距离比较。(a) 果实距离:从左到右,果实距离变小,这意味着密度更高。方框上方的红色标签是重要字母。(b) 果实距离的可视化:从左到右,果实距离变小,意味着更高的紧凑度。

 

 图18  FLR13-218植株水平和簇水平表型性状提取的演示。(a) 植株水平表型来自植株的不同视图。(b) 簇水平表型结果的示例。

 

 图19  在 4 周内不同蓝莓基因型之间的表型性状分析图示。从上到下,有果实数、簇数、成熟度、簇级紧凑度和果实距离的性状比较。在 4 月至 5 月的果期共分析 11 个基因型,收集 4 次数据。

 
来 源

Zhengkun Li, Rui Xu, Changying Li, Patricio Munoz, Fumiomi Takeda, Bruno Leme. (2025) In-field blueberry fruit phenotyping with a MARS-PhenoBot and customized BerryNet. Computers and Electronics in Agriculture, 232, 110057.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。