由内至外:将实验室植物图像转化为机器学习在农业中的应用-慧诺瑞德（北京）科技有限公司|叶绿素荧光|光合作用|植物表型

学术中心

全部分类

由内至外:将实验室植物图像转化为机器学习在农业中的应用

发布时间：

2023-01-13

来源：

植物表型资讯

作者：

PhenoTrait

机器学习通常需要大量的训练数据集，农业数据集的大小受到相同基因型的两种作物之间表型差异的限制。本文使用对比性的非配对图像到图像翻译（Contrastive Unpaired Translation，CUT）生成式对抗网络（generative adversarial network，GAN）和简易的图像处理技术将室内植物图像转换为田间图像。用于模型训练的输出域（室外）数据集包括油菜、燕麦、大豆和小麦的单株图像，输入域（室内）数据集由多位置、多角度的相机拍摄。该过程不包括繁琐的田间图像人工标记步骤，其目的是创建可在真实田间环境中用于提高作物检测精度的训练数据集。

本文训练了三个单株植物图像转换生成器:

1.利用室内图像数据集训练的生成器可以直接将室内图像转换为田间图像，但其最大缺点是无法控制转换图像中的图像背景（图1）;

2.在复合数据集上训练的生成器可以将未经校正的合成图像转换为田间植物图像，翻译结果实现了输出图像与输入图像背景保持一致的目的（图2）;

3.基于颜色校正复合数据集训练的生成器能够将颜色校正的合成图像转换为田间植物图像，表明此模型可以用于多植物图像合成（图3）。图4为转换其他植物的图像，其输入和输出之间的背景外观是一致的。

图1. 基于裁剪室内图像数据集训练的生成器转换室内大豆图像结果。

图2. 基于复合数据集训练的生成器转换大豆图像结果。

图3. 基于颜色校正复合数据集训练的生成器转换大豆图像结果。

图4. 油菜籽、燕麦、大豆和小麦图像转换结果。

为了提高生成器在转换不同背景图像的性能，图5显示标记的多株大豆植株位置在平移后保持不变，表明此数据集可以用于植物检测和分类。本文基于由CUT-GAN生成的多作物图像数据集训练了几个YoloV5纳米目标检测模型，利用嵌入在背景中的单株植物（油菜籽、燕麦、大豆和小麦）图像的大小和位置作为训练数据的地面真值边界框。图6给出了每个网络性能的抽样可视化结果。

图5. 复合(a)和合成(b)的多株大豆图像，其中植株被随机放置或被分成两行。

图6. 由YoloV5纳米目标检测模型标记的样本图像在各个增强数据集上训练。其中，地面真值边界框由手工确定，前三行为大豆，下面三行为油菜籽。

本研究致力于通过GANs进行图像转换和合成使室内拍摄的图像生成人工图像，从而能被应用于田间环境。本文扩充数据集的构建拓展了神经网络的进一步训练，重点基于精确的完全可控条件下生长的植物能够快速生成大量标记数据，并应用于改善和加速田间环境中运行的机器学习模型的开发进程。

来源

Krosney, A. E, P. Sotoodeh, C. J Henry, M. A Beck, and C. P Bidinosti. "Inside Out: Transforming Images of Lab-Grown Plants for Machine Learning Applications in Agriculture." (2022). Web.

编辑

焰火青年

扩展阅读