利用生成式对抗网络以植物表型为条件合成林业图像


发布时间:

2023-07-19

来源:

植物表型资讯

作者:

PhenoTrait

利用遥感数据进行植物表观和表型预测以提高农业生产率正日益受到植物科学界的关注。在本文中生成了满足特定表型属性(即冠层绿化度)的合成林业图像。植物的绿度指数描述了混交林中的特定植被类型。本文的目标是开发一种生成式对抗网络(GAN),根据植被绿度这一连续属性来合成特定兴趣区域的林业图像。训练数据基于国家生态观测网络(NEON)提供的自动数码相机图像,并由PhenoCam网络进行处理。本文中的方法所生成的合成图像还可用于预测另一种表型属性,即植物的红度。利用结构相似度(SSIM)指数来评估合成图像的质量。利用均方根误差(RMSE)将生成的合成图像的绿度和红度指数与原始图像的绿度和红度指数进行比较,以评估其准确性和完整性。此外,通过有效地转换GAN模型以生成其他森林地点和植被类型的合成图像,确定了提出的GAN模型的通用性和可扩展性。

 

本文中提出了一种新颖的GAN架构,用于合成满足特定表型属性(即图像ROI上的绿度指数)的林业图像。在PhenoCam数据集上的实验表明GAN模型生成的合成图像可用于根据绿度值可视化森林地点的外观,以及预测图像合成过程中未使用的其他表型属性(如红度指数)。生成图像与真实图像之间的SSIM得分类似于真实图像之间的SSIM得分,从而证实了生成图像的质量。此外,所提出的模型能够生成与特定GCC值相关的各种图像。它还能够生成与训练期间未使用的GCC值相对应的森林图像,但在为森林站点定义的特定范围内。此外 还证明了在一个森林站点上训练的GAN模型可以被微调以生成其他森林站点的图像,这反过来又建立了模型的泛化能力。该模型还可以有效地扩展到同一森林站点内的其他植被类型。本文旨在通过识别图像中没有明显形态结构的模式,推进图像生成的研究。相反,我们的模型根据图像的颜色和纹理自动学习绿起和绿落现象,对图像的ROI应用了条件反射以便控制图像生成过程。然而,由于训练数据集的大小有限以及训练图像中GCC值的不对称分布,所提出的模型无法在某些GCC值上生成高质量的图像。还必须指出的是,由于计算和时间限制,生成图像的大小被设定为小于原始PhenoCam图像的大小。目前,我们正致力于通过使用稳定的扩散模型来进一步提高生成的林业图像的质量。这项工作也可以扩展到属于其他NEON域的其他森林站点。此外,还可从合成图像中提取其他表观和表型信息(如LAI、冠层覆盖)。我们相信,本文所报告的工作为利用模式识别和计算机视觉中的生成人工智能原理进行植物物候研究迈出了第一步。

 

图1 显示了两个站点一年中不同时间的一些中午图像样本,以及描述植被类型DB和EN的两个ROI的GCC和RCC值。

 

图片图2 本文中提出的方法概要:生成器输入随机噪声矢量、GCC值范围内的随机GCC值和相应的ROI图像,生成满足给定ROI上GCC的合成图像。判别器输入真实或合成图像及其相应的GCC值和ROI图像,以估计输入图像为真实图像的概率。

 

图3 本文的GAN架构:生成器使用转置卷积层进行上采样,而判别器使用卷积层进行下采样。生成器使用光谱归一化和批量归一化,判别器使用光谱归一化,以提高训练过程中的稳定性。生成器和判别器中都加入了自我注意模块,以提高合成图像的质量。

 

图4 生成器使用的整体流程:生成器模型在给定ROI图像和GCC值的情况下生成合成图像,通过与真实图像比较,使用SSIM评估合成图像的质量。

 

图5 合成图像与测试图像对比的SSIM和调整后的SSIM指数(SSIM指数表示合成图像与相应测试图像对比后的得分,调整后的SSIM指数是合成图像与给定GCC值对应的所有测试图像对比后获得的最大得分)。

 

图片图6 跨站点实验:合成图像的SSIM指数与Bartlett实验林测试数据集的比较

 

图7 跨站点实验:Bartlett实验林的测试图像和合成图像样本(SSIM表示合成图像与相应测试图像的相似度得分。GCC和RCC对应右侧所示的 "DB 1000 "ROI)。

 

图8 交叉植被实验:哈佛森林的测试图像和合成图像样本(SSIM表示合成图像与相应测试图像的相似度得分。GCC和RCC对应右侧所示的ROI "EN 1000")。

 

 
来 源

Pal, D., & Ross, A. (2023). Synthesizing Forestry Images Conditioned on Plant Phenotype Using a Generative Adversarial Network. Environmental Science, 00, 00-00.

 

编辑

劳广术
 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。