评价关键作物表型的第一步是将高分辨率 RGB 图像的像素分割成背景、绿色植被和衰老植被。本文开发了将RGB图像语义分割为三类区域的SegVeg模型，它包含两个阶段，第一阶段基于u-net网络分割植被与背景；第二阶段基于支持向量机 (SVM)对植被部分进行分割，分为绿色和衰老植被。其中，分割植被与背景的U-net模型是一个深度神经网络，它的训练依赖非常庞大且多样化的数据集；SVM是浅层机器学习技术，在小样本情况下有效解决二元分类问题从而对植被像素进行分类。

 

目前虽已提出了多半种识别RGB图像中绿色像素的方法，包括阈值化颜色指数和基于少量颜色空间表示的机器学习分类法。然而，这些技术至少受到以下两个主要因素之一的限制：

 

（1）混杂效应：根据光照条件和摄像机光学系统的质量，部分土壤可能会由于色差而呈绿色。此外，该图像的一部分饱和，具有强烈的镜面反射或非常暗的背景，将很难仅用像素的颜色信息进行分类。最后，当土壤中含有藻类时，土壤也可能呈绿色。

 

（2）颜色的连续性：在细胞尺度上，衰老伴随着色素的降解，通常发生在细胞死亡之前。在降解过程中色素成分的变化，导致RGB图像中叶子颜色处在“绿色”和“衰老”状态之间。此外，当像素位于一个植物器官的边界时，它的颜色是器官与背景的合成。当RGB图像的空间分辨率过低时，这个问题会明显增强。

 

SegVeg两步语义分割法，对超高分辨率 RGB 图像的每个像素标记为三类：背景、绿色植被和衰老植被。它旨在通过结合卷积神经网络 (CNN) 与支持向量机 (SVM) 技术相结合，CNN分割植被和背景，SVM分割绿色植被和衰老植被，从而减少标注工作。SegVeg与传统CNN分类器相比能直接识别背景、绿色植被和衰老植被像素。用于模型训练和测试的数据集包括地面拍摄的各种作物以及不同拍摄条件下的RGB图像。

 

结果表明，SegVeg模型可以准确地分割三个类别，但主要在背景和衰老植被之间存在一些混淆，特别是在图像的黑暗和明亮部分。U-net模型实现了类似的性能，观察到绿色植被的一些轻微退化，与U-net的卷积性质相比，基于SVM像素的方法提供了更精确的绿色和衰老斑块描绘。使用几个颜色空间的成分可以更好地将植被像素分为绿色和衰老像素。最后，使用模型在网格像素或整个图像上预测三个类别所占比例，结果表明，SegVeg模型很好地估计了绿色部分（R2=0.94），而衰老部分和背景部分表现出略微退化的性能（R2=0.70和0.73）。

 

本文所用数据集与代码公开发布在：https ://github.com/mserouar/SegVeg

 

图1 SegVeg的框架。第一阶段是分割植被和背景的 U-net 模型；第二阶段是SVM，将植被分类为绿色和衰老部分。这两个阶段在两个独立的数据集上进行了训练。

 

图2 从八个实验中提取的 512 × 512 像素块样本

 

图3 三个数据采集系统LITERAL、PHENOMOBILE 和 P2S2 以及从这三个系统中提取的各自的 512 × 512 图像块示例。

 

图4 注释网格上像素所用工具的截图。注释软件将网格交叉点处的每个像素分类为六个类别之一：绿色植被、衰老植被、背景、绿色/衰老植被不确定、未知、其他。网格交叉处的菱形特征仅用于提高可见性。只有恰好位于交叉点的单个像素被标记。

 

图5 植被示例|背景U-net第一阶段模型混淆了地面和植被。在顶部，植被被视为背景。在底部，土壤被视为植被。绿色是定义为植被的像素。棕色是定义为背景的像素。因为模型是二进制的，所以其他的都被认为是相反的类别。

 

图6 在测试和训练数据集的标记像素上观察到的六个类别之间的颜色分布。对于每个类别，像素根据其在 HSV 颜色空间中的亮度进行排序

 

图7 SegVeg 模型对来自 LITERAL 系统的整个图像小麦数据在早晚衰老阶段的预测示例。左边是原始的 RGB 图像。右边是相应的分割图像，背景绿色植被和衰老植被分别用黑色、绿色和黄色表示。

 

图8 SegVeg 模型在具有大量细尖峰的复杂 LITERAL 图像上的结果。

 

图9 SegVeg 模型的性能 (F1all) 作为每张图像的绿色和衰老分数的函数

 

图10 不同有意义的颜色空间的输出，分别是RGB原始图像（左）、来自CMYK的Y分量和来自YIQ的Q 分量（右）。Y和Q图像为灰度。

 

图11 依据SegVeg第二阶段的二分类SVM，在353立体像素的RGB立方体上推断出SegVeg颜色的边界。在右侧，黄色预测像素。在左侧，其余部分即包括绿色预测像素。

 

图12 左侧展示了 SegVeg 模型错误分类像素的亮度（HSV 中的 V）和饱和度（HSV 中的 S）分布。每个点对应于测试数据集网格中的错误分类像素，它们由实际 RGB 颜色表示。右侧展示了错误分类（红色）和正确分类（蓝色）像素的亮度累积分布

 

图13 在底部，受控的（PHENOMO-BILE）和自然的（P2S2和LITERAL数据集）照明条件下的性能（F1all）分布。在顶部，三个数据集的亮度分布（来自HSV的V）。

 

图14 使用SegVeg（中）或 U-net 3C（右）的分割结果。背景、绿色植被和衰老植被分别用黑色、绿色和黄色表示。左边是原始 RGB 图像。

 

图15 SegVeg模型预测的分数与标记分数之间的比较，每种分数由特定颜色表示，每个分数的最佳拟合由相同颜色的实线表示。

 

来 源

Serouart M, Madec S, David E, et al. SegVeg: Segmenting RGB images into green and senescent vegetation by combining deep and shallow methods[J]. bioRxiv, 2022.

 

编 辑

刘昕哲

 

扩展阅读

• 植物表型资讯2018年1-12月目录汇总

• 植物表型资讯2019年1-12月目录汇总

• 植物表型资讯2020年1-12月目录汇总

• 植物表型资讯2021年1-12月目录汇总

• 植物表型资讯2022年1-11月目录汇总

• 植物表型资讯分类专辑直通车

• 最畅销的田间表型平台长什么样？