学术中心

全部分类
您现在的位置:
首页
/
/
SegVeg:基于深浅层融合法分割植被RGB图像的绿色和衰老部分

SegVeg:基于深浅层融合法分割植被RGB图像的绿色和衰老部分

  • 分类:学术中心
  • 作者:PhenoTrait
  • 来源:植物表型资讯
  • 发布时间:2022-12-06 14:29
  • 访问量:

【概要描述】

SegVeg:基于深浅层融合法分割植被RGB图像的绿色和衰老部分

【概要描述】

  • 分类:学术中心
  • 作者:PhenoTrait
  • 来源:植物表型资讯
  • 发布时间:2022-12-06 14:29
  • 访问量:
详情

评价关键作物表型的第一步是将高分辨率 RGB 图像的像素分割成背景、绿色植被和衰老植被。本文开发了将RGB图像语义分割为三类区域的SegVeg模型,它包含两个阶段,第一阶段基于u-net网络分割植被与背景;第二阶段基于支持向量机 (SVM)对植被部分进行分割,分为绿色和衰老植被。其中,分割植被与背景的U-net模型是一个深度神经网络,它的训练依赖非常庞大且多样化的数据集;SVM是浅层机器学习技术,在小样本情况下有效解决二元分类问题从而对植被像素进行分类。

 

目前虽已提出了多半种识别RGB图像中绿色像素的方法,包括阈值化颜色指数和基于少量颜色空间表示的机器学习分类法。然而,这些技术至少受到以下两个主要因素之一的限制:

 

(1)混杂效应:根据光照条件和摄像机光学系统的质量,部分土壤可能会由于色差而呈绿色。此外,该图像的一部分饱和,具有强烈的镜面反射或非常暗的背景,将很难仅用像素的颜色信息进行分类。最后,当土壤中含有藻类时,土壤也可能呈绿色。

 

(2)颜色的连续性:在细胞尺度上,衰老伴随着色素的降解,通常发生在细胞死亡之前。在降解过程中色素成分的变化,导致RGB图像中叶子颜色处在“绿色”和“衰老”状态之间。此外,当像素位于一个植物器官的边界时,它的颜色是器官与背景的合成。当RGB图像的空间分辨率过低时,这个问题会明显增强。

 

SegVeg两步语义分割法,对超高分辨率 RGB 图像的每个像素标记为三类:背景、绿色植被和衰老植被。它旨在通过结合卷积神经网络 (CNN) 与支持向量机 (SVM) 技术相结合,CNN分割植被和背景,SVM分割绿色植被和衰老植被,从而减少标注工作。SegVeg与传统CNN分类器相比能直接识别背景、绿色植被和衰老植被像素。用于模型训练和测试的数据集包括地面拍摄的各种作物以及不同拍摄条件下的RGB图像。

 

结果表明,SegVeg模型可以准确地分割三个类别,但主要在背景和衰老植被之间存在一些混淆,特别是在图像的黑暗和明亮部分。U-net模型实现了类似的性能,观察到绿色植被的一些轻微退化,与U-net的卷积性质相比,基于SVM像素的方法提供了更精确的绿色和衰老斑块描绘。使用几个颜色空间的成分可以更好地将植被像素分为绿色和衰老像素。最后,使用模型在网格像素或整个图像上预测三个类别所占比例,结果表明,SegVeg模型很好地估计了绿色部分(R2=0.94),而衰老部分和背景部分表现出略微退化的性能(R2=0.70和0.73)。

 

本文所用数据集与代码公开发布在:https ://github.com/mserouar/SegVeg

 

图1 SegVeg的框架。第一阶段是分割植被和背景的 U-net 模型;第二阶段是SVM,将植被分类为绿色和衰老部分。这两个阶段在两个独立的数据集上进行了训练。

 

图2 从八个实验中提取的 512 × 512 像素块样本

 

图3 三个数据采集系统LITERAL、PHENOMOBILE 和 P2S2 以及从这三个系统中提取的各自的 512 × 512 图像块示例。

 

图4 注释网格上像素所用工具的截图。注释软件将网格交叉点处的每个像素分类为六个类别之一:绿色植被、衰老植被、背景、绿色/衰老植被不确定、未知、其他。网格交叉处的菱形特征仅用于提高可见性。只有恰好位于交叉点的单个像素被标记。

 

图5 植被示例|背景U-net第一阶段模型混淆了地面和植被。在顶部,植被被视为背景。在底部,土壤被视为植被。绿色是定义为植被的像素。棕色是定义为背景的像素。因为模型是二进制的,所以其他的都被认为是相反的类别。

 

图6 在测试和训练数据集的标记像素上观察到的六个类别之间的颜色分布。对于每个类别,像素根据其在 HSV 颜色空间中的亮度进行排序

 

图7 SegVeg 模型对来自 LITERAL 系统的整个图像小麦数据在早晚衰老阶段的预测示例。左边是原始的 RGB 图像。右边是相应的分割图像,背景绿色植被和衰老植被分别用黑色、绿色和黄色表示。

 

图8 SegVeg 模型在具有大量细尖峰的复杂 LITERAL 图像上的结果。

 

图9 SegVeg 模型的性能 (F1all) 作为每张图像的绿色和衰老分数的函数

 

图10 不同有意义的颜色空间的输出,分别是RGB原始图像(左)、来自CMYK的Y分量和来自YIQ的Q 分量(右)。Y和Q图像为灰度。

 

图11 依据SegVeg第二阶段的二分类SVM,在353立体像素的RGB立方体上推断出SegVeg颜色的边界。在右侧,黄色预测像素。在左侧,其余部分即包括绿色预测像素。

 

图12 左侧展示了 SegVeg 模型错误分类像素的亮度(HSV 中的 V)和饱和度(HSV 中的 S)分布。每个点对应于测试数据集网格中的错误分类像素,它们由实际 RGB 颜色表示。右侧展示了错误分类(红色)和正确分类(蓝色)像素的亮度累积分布

 

图13 在底部,受控的(PHENOMO-BILE)和自然的(P2S2和LITERAL数据集)照明条件下的性能(F1all)分布。在顶部,三个数据集的亮度分布(来自HSV的V)。

 

图14 使用SegVeg(中)或 U-net 3C(右)的分割结果。背景、绿色植被和衰老植被分别用黑色、绿色和黄色表示。左边是原始 RGB 图像。

 

图15 SegVeg模型预测的分数与标记分数之间的比较,每种分数由特定颜色表示,每个分数的最佳拟合由相同颜色的实线表示。

 

来 源

Serouart M, Madec S, David E, et al. SegVeg: Segmenting RGB images into green and senescent vegetation by combining deep and shallow methods[J]. bioRxiv, 2022.

 

编 辑

刘昕哲

 

扩展阅读

扫二维码用手机看

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!
石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!
本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。
查看详情
本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。
慧科研、慧育种、慧种田——慧聚改变的力量
慧科研、慧育种、慧种田——慧聚改变的力量
让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。
查看详情
让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。
高通量植物表型平台建设注意事项
高通量植物表型平台建设注意事项
发布时间 : 2022-05-20 11:45:57
育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。
查看详情
育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。
作物生理表型测量基础原理
作物生理表型测量基础原理
发布时间 : 2022-05-13 10:56:43
生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。
查看详情
生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。

视频展示

透过表型数据看见植物的喜怒哀乐
00:59:21
所属分类:
视频展示
发布时间:
2022/11/13
关键词:

专题报道

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。
搜索
确认
取消

联系我们

慧诺瑞德(北京)科技有限公司

地址:北京市海淀区西三旗街道建材城中路12号院8号楼2门 
电话:010-62925490829288548292886482928874
传真:010-62925490-802
Email:
info@phenotrait.com

邮编:100096

在线留言

关注我们

这是描述信息

植物表型圈

这是描述信息

植物表型资讯

慧诺瑞德(北京)科技有限公司版权所有      京ICP备15043840号    网站建设:中企动力   北二分     法律声明