EasyDAM_V3:基于最优源域选择和知识图数据合成的水果自动标注


发布时间:

2023-06-30

来源:

植物表型资讯

作者:

PhenoTrait

尽管基于深度学习的水果检测技术正变得越来越流行,但它们需要大量的标记数据集来支持模型训练。此外,手工贴标过程既耗时又费力。我们之前实现了一种基于生成对抗网络的方法来降低标记成本。然而,它没有考虑到更多物种之间的适应性。基于目标域水果数据集选择最合适的源域数据集的方法还有待研究。而且,目前的自动标注技术仍然需要对源领域数据集进行人工标注,不能完全消除人工过程。因此,本研究提出了一种改进的EasyDAM_V3模型,作为额外类别水果的自动标记方法。本研究提出了一种基于多维空间特征模型的最优源域建立方法,即选择最合适的源域;提出了一种基于透明背景水果图像翻译的大容量数据集构建方法,即构建果园场景层次成分合成规则知识图谱。EasyDAM_V3模型可以自动从数据集中获取水果标签信息,从而消除人工标注。以梨为优选源域,以橘子、苹果和番茄为目标域数据集,对该方法进行了验证。结果表明,目标数据集的平均标注精度分别达到90.94%、89.78%和90.84%。EasyDAM_V3模型可以在自动标注任务中获得最优的源域,从而消除了人工标注过程,降低了相关成本和人工。

 

图1 EasyDAM_V3总体流程图。图中有三个主要贡献(如图中黄色矩形部分所示):(1)在图像生成模块之前加入水果最优源域选择预处理算法,选择最合适的源域数据集;(2)将图像生成模块输出的水果图像输入目标域合成数据集构建模块,采用自动化方法合成模拟的目标域图像;(3)将模拟的目标域图像输入到基于无锚检测器的检测模块中,提取目标水果和背景的特征。采用伪标签自学习方法进一步提高了标签生成质量。最后的输出是实际目标域场景所需的水果标签。

 

 图2 目标域中实际果园场景的图像。(A)目标域柑橘图像,(B)目标域苹果图像,(C)目标域番茄图像。

 

图3 多类目标域对应的果实生成最优源域选择方法流程图。

 

 图4 多维特征量化分析图

 

图5 通过随机抽样选择得到水果目标的局部纹理块

 

图6 基于层次构件综合规则的知识图谱系统。(A)不同层次元素之间的包含关系及其组合规则表达式。(B)果园场景的知识图谱架构图。

 

图片图7 散点图的多维特征空间重构和最优源域选择结果。每个不同颜色的矩形虚线框代表一个不同的集群。每个聚类中心的水果类型用实线框突出显示,代表该聚类中最优的源域水果数据集,其中轴表示水果形状特征的分布。由于实际场景中水果的颜色和纹理特征受到环境光照、拍摄角度等因素的影响,因此本研究将水果的颜色和纹理特征共同表示为多维特征空间的y轴。

 

图8 利用CycleGAN模型生成目标域水果图像的可视化结果

 

 图9 合成数据集图像。(A)柑橘,(B)苹果,(C)番茄的合成图像

 

图10 视觉图像效果的柑橘、苹果、番茄标签生成。(A)柑橘园,(B)苹果园,(C)番茄园。

 

 

来 源

Zhang Wenli Liu Yuxin Zheng Chao Cui Guoqiang Guo Wei . EasyDAM_V3: Automatic fruit labeling based on optimal source domain selection and data synthesis via a knowledge graph. Plant Phenomics. 0;DOI:10.34133/plantphenomics.0067

 

编辑

王春颖
 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。