用于高通量表型的田间和温室植物图像自动分割的机器学习方法


发布时间:

2023-07-02

来源:

植物表型资讯

作者:

PhenoTrait

图像分割是实现自动化高通量表型的基本但关键的一步。虽然传统的分割方法在同质环境中表现良好,但在更复杂的环境中使用时性能下降。本研究旨在开发一种基于神经网络的快速、鲁棒的分割工具,以高通量的方式在田间和温室环境中对植物进行表型分析。获得了豇豆(来自温室)和小麦(来自田间)在其整个生长周期中不同营养供应的数字图像。从采集的数据集中随机选择20幅图像,将图像块从原始RGB格式转换为多个颜色空间。小块地中的像素被标注为前景和背景,其中一个像素具有24个颜色属性的特征向量。

 

采用特征选择技术选择敏感特征,并将其用于训练多层感知器网络(multilayer perceptron network,MLP)和另外两种传统机器学习模型:支持向量机(support vector machines,SVM)和随机森林(RF)。将这些模型与两种标准颜色指数分割技术(过量绿色(excess green,ExG)和过量绿红(excess green–red,ExGR))的性能进行比较。该方法在生成高质量的分割图像方面优于其他方法,分类准确率超过98%。用不同分割方法建立的回归模型预测豇豆和小麦的土壤植物分析发展(Soil Plant Analysis Development,SPAD)值,结果表明,采用MLP方法得到的模型具有较高的预测能力和准确性。该方法将成为开发高通量植物表型数据分析管道的重要工具。该方法能够从不同的环境条件中学习,具有较高的鲁棒性。

 

图1 三种模型(多层感知机(MLP)、随机森林(RF)和支持向量机(svm)基于所选特征数据集(SF)和所有特征数据集(AF)进行训练的分类精度分数

 

图2 使用所提出的方法和选定的分割方法的温室和田间分段植物的实例。(a)原始小麦图像,(b) ExG小麦分割图像,(c) 提出的方法(MLP)分割图像,(d)原始豇豆图像,(e) ExG豇豆分割图像,(f) MLP分割

 

图3 基于温室的图像5种不同分割方法质量评价的平均分割正确率比较Qseg衡量的是逐像素的分割一致性,Sr衡量的是图像区域间植物像素的一致性,Es衡量的是像素错分类率。这些应用于五种分割方法:多层感知机(MLP),支持向量机(svm),随机森林(RF),过量绿色(ExG)和过量绿红(ExGR)。

 

 图4 5种不同分割方法质量评价的分割正确率(Qseg-、Sr、Es)比较多层感知机(MLP)、支持向量机(svm)、随机森林(RF)、超绿(ExG)和超绿红(ExGR)用于基于现场的图像。Qseg衡量的是逐像素的分割一致性,Sr衡量的是图像区域间植物像素的一致性,Es衡量的是像素错分类率。将其应用于五种分割方法。

图片 图5 温室植物SPAD预测值和观测值的散点图。MLP-GR、RF-GR、SVM-GR、ExGR-GR和ExG-GR分别代表多层感知器、随机森林、支持向量机、过量绿色和过量绿红分割方法的基于温室的回归模型。

 

图片图6 田间植物SPAD预测值和观测值的散点图。MLP-FR、RF-FR、SVM-FR、ExGR-FR和ExG-FR分别是多层感知器、随机森林、支持向量机、过量绿色和过量绿红分割方法的基于场的回归模型。

 

图片图7 提出了一种基于多层感知器MLP的温室和田间图像的图解表示方法

 

图8 将图像标注为前景和背景补丁进行特征提取。(a)小麦图像标注和(b)豇豆图像标注。FG为前景标注,BG为背景标注。

 

图9 特征选择过程包括相关性分析和基于重要性评分的特征排序。(a)为所有提取特征的热图,(b)为特征选择的特征重要性图。

 

 图10 从温室和田间获得的图像示例,分割为参考图像。(a)原始图像,(b)手工分割图像,(c)二值化图像。从不同营养含量和光照、不同生长阶段的数据集中随机选取参考图像

 

 

来 源

Okyere, F.G.; Cudjoe, D.; Sadeghi-Tehran, P.; Virlet, N.; Riche, A.B.; Castle, M.; Greche, L.; Mohareb, F.; Simms, D.; Mhada, M.; et al. Machine Learning Methods for Automatic Segmentation of Images of Field- and Glasshouse-Based Plants for High-Throughput Phenotyping. Plants 2023, 12, 2035. https://doi.org/10.3390/plants12102035

 

编辑

王春颖
 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。