基于改进的 YOLOv8-Seg 模型进行叶片分割


发布时间:

2024-07-12

来源:

作者:

基于计算机视觉的植物叶片分割技术对植物分类、植物生长监测、精准农业等科学研究具有重要意义。在本文中, YOLOv8-seg 模型用于自动分割图像中单个叶子。为了提高分割性能,在标准的Yolov8模型中进一步引入了一个Ghost模块和一个双向特征金字塔网络(BiFPN)模块,提出了两个改进版本。Ghost模块可以通过简单的转换操作生成多个内在特征映射,而BiFPN模块可以融合多尺度特征,从而提高对小叶片的分割性能。实验结果表明,Yolov8模型在叶片分割任务中表现良好,而Ghost模块和BiFPN模块可以进一步提高叶片分割任务的性能。本文提出的方法在植物表型分析(CVPPP)叶分割挑战赛的计算机视觉问题的所有五个测试数据集上实现了86.4%的叶分割分数(最佳Dice),优于其他报告的方法。

 

图1 使用CVPPP LSC数据集来训练和验证 YOLOv8-seg 模型

(a)2014年CVPPP LSC中A1子集的典型图像;(b)2014年CVPPP LSC中A2子集的典型图像;(c)2014年CVPPP LSC中A3子集的典型图像;(d)2017年CVPPP LSC中A4子集的典型图像

 

表1 CVPPP LSC训练数据集的总结

 

表2 CVPPP LSC测试数据集的总结

 

图2 数据处理、 YOLOv8-seg 模型训练和模型验证的工作过程

FPN 网络可以用于解决目标检测中的多尺度问题,提高对小目标的检测性能。与传统的 FPN 网络相比, BiFPN 在同一层的输入和输出特征之间添加了跳过连接,由于使用相同的规模,添加跳过连接可以更好地提取和传输特性信息。

 

图3 (a) FPN 架构 (b) BiFPN 架构

在 YOLOv8 模型的基础上引入 BiFPN 模块,形成一个改进模型 YOLOv8-BiFPN,YOLOv8-BiFPN 模型可以融合多尺度特征,从而提高对小叶片的分割性能。

 

图4 YOLOv8-BiFPN 网络架构图

Ghost 模块将原始的卷积层分成两部分,并使用更少的卷积来生成几个内在的特征映射。然后,将进一步应用一定数量的简单转换操作来有效地生成 Ghost 特征映射。

 

图5 Ghost 模块的工作原理

将 Ghost 模块合并到 YOLOv8 模型的主干中, YOLOv8-Ghost 模型可以有效减少计算工作量,生成更丰富的特征映射,这有助于提高模型的泛化能力。

 

图6 YOLOv8-Ghost 网络架构图

 

表3 数据增强参数

 

表4 软件和硬件环境

 

表5 三个模型分别对测试数据集的分割和计数结果

 

图7 每个数据集的图片在三个模型上的显示效果

 

表6 分割和计数结果与其他已发表的方法比较结果

 

表7 YOLOv8-Ghost在不同指标下对不同测试集的分割结果具体排名

 

来 源

Wang P, Deng H, Guo J, Ji S, Meng D, Bao J, Zuo P. Leaf Segmentation Using Modified YOLOv8-Seg Models. Life. 2024; 14(6): 780.

 

编辑

郑静文

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。