学术中心
基于深度掩膜生成网络的柑橘颜色转变预测和可视化
发布时间:
2023-08-10
来源:
本站
作者:
PhenoTrait
柑橘果皮颜色是反映果实发育的良好指标,因此监测并预测其颜色转变对田间管理和制定收获决策至关重要。本研究提出了柑橘颜色转变的预测和可视化技术流程,可准确提取果园的颜色变化特征。本研究在果实颜色转变期间观测了107个脐橙样本,构建了包含7535张柑橘图像的果实转色数据集,并在此基础上,提出了一种将视觉感知融入深度学习的网络框架,其中包括分割网络、深度掩膜生成网络和人工设计损失函数的感知损失网络。此外,通过图像特征和时间信息的有效融合,可以利用单个模型预测不同时间间隔的果皮颜色,从而大大减少模型参数。结构框架中的分割网络可以达到平均交并比为0.9694,生成网络可以达到信噪比为30.01、损失分数为2.710,这说明,生成的影像具有较高的质量和相似性,且和人工解译的结果一致。为了在现实场景中应用,本研究还开发了一款手机APP,可以在安卓系统中使用。通过手机拍摄柑橘图像,并在APP中输入感兴趣的时间间隔即可完成果实颜色转变预测。本研究的结果可以为柑橘的果园管理提供帮助,也可以拓展应用至其他种类的水果,为果实的表型研究提供借鉴。

图1 柑橘影像数据集的构建过程

图2 本研究提出的深度掩膜生成网络框架

图3 语义分割的训练过程和分割结果。(A) 训练过程中训练集和验证集的Dice损失趋势;(B)不同数据集中的平均交并比;(C)输入影像(左)和分割结果(右)

图4 风格损失函数的选择。(A) 用于试验的3个真实影像数据集,每个数据集包含2张相似影像;(B)3种不同方法计算的风格差异。i行j列的数值表示第i个样本和第j个样本之间的风格差异。根据最大值和最小值,把每个矩阵分为5个水平

图5 (A) 生成网络的训练过程;(B)测试集中相同影像的生成结果。N表示输入的时间间隔;(C)测试集中不同影像的生成结果

图6 合成影像和真实影像之间的相似性感知进化结果

图7 输入影像和地面真实影像

图8 安卓系统中的测试结果
Zehan Bao, Weifu Li, Jun Chen, et al. Predicting and Visualizing Citrus Color Transformation Using a Deep Mask-Guided Generative Network. Plant Phenomics, 2023, 5:Article 0057.
编辑
段博
推荐新闻
视频展示