基于深度掩膜生成网络的柑橘颜色转变预测和可视化


发布时间:

2023-08-10

来源:

本站

作者:

PhenoTrait

柑橘果皮颜色是反映果实发育的良好指标,因此监测并预测其颜色转变对田间管理和制定收获决策至关重要。本研究提出了柑橘颜色转变的预测和可视化技术流程,可准确提取果园的颜色变化特征。本研究在果实颜色转变期间观测了107个脐橙样本,构建了包含7535张柑橘图像的果实转色数据集,并在此基础上,提出了一种将视觉感知融入深度学习的网络框架,其中包括分割网络、深度掩膜生成网络和人工设计损失函数的感知损失网络。此外,通过图像特征和时间信息的有效融合,可以利用单个模型预测不同时间间隔的果皮颜色,从而大大减少模型参数。结构框架中的分割网络可以达到平均交并比为0.9694,生成网络可以达到信噪比为30.01、损失分数为2.710,这说明,生成的影像具有较高的质量和相似性,且和人工解译的结果一致。为了在现实场景中应用,本研究还开发了一款手机APP,可以在安卓系统中使用。通过手机拍摄柑橘图像,并在APP中输入感兴趣的时间间隔即可完成果实颜色转变预测。本研究的结果可以为柑橘的果园管理提供帮助,也可以拓展应用至其他种类的水果,为果实的表型研究提供借鉴。

 

 图1 柑橘影像数据集的构建过程

 

图2 本研究提出的深度掩膜生成网络框架

 

图3 语义分割的训练过程和分割结果。(A) 训练过程中训练集和验证集的Dice损失趋势;(B)不同数据集中的平均交并比;(C)输入影像(左)和分割结果(右)

 

图4 风格损失函数的选择。(A) 用于试验的3个真实影像数据集,每个数据集包含2张相似影像;(B)3种不同方法计算的风格差异。i行j列的数值表示第i个样本和第j个样本之间的风格差异。根据最大值和最小值,把每个矩阵分为5个水平

 

图5 (A) 生成网络的训练过程;(B)测试集中相同影像的生成结果。N表示输入的时间间隔;(C)测试集中不同影像的生成结果

 

图6 合成影像和真实影像之间的相似性感知进化结果

 

图7 输入影像和地面真实影像

 

图8 安卓系统中的测试结果

 

 
来 源

Zehan Bao, Weifu Li, Jun Chen, et al. Predicting and Visualizing Citrus Color Transformation Using a Deep Mask-Guided Generative Network. Plant Phenomics, 2023, 5:Article 0057.

 

编辑

段博

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。