PlantView:结合深度学习与三维建模的室内植物增强方法


发布时间:

2025-01-12

来源:

作者:

室内植物识别因光照条件、植物种类及生长阶段的多样性而面临显著挑战。尽管深度学习技术在植物数据分析中的应用受到越来越多的关注,但针对室内植物种类自动识别的研究仍然不足,凸显了实时自动化解决方案的需求。为弥补这一空白,本研究提出了一种基于卷积神经网络(CNN)的创新方法PlantView,能够实现室内植物的实时识别和可视化,并通过增强现实(AR)技术提升用户交互体验。PlantView模型不仅能够准确分类植物种类,还可以在三维增强现实环境中进行可视化,使用户能够在真实环境中无缝地与虚拟植物模型互动。我们构建了一个包含48种不同植物在各种生长阶段的定制数据集,涵盖超过28,000张图像,这些图像在不同光照条件和摄像机设置下拍摄。该方法实现了98.20%的卓越准确率。为验证PlantView模型的有效性,我们进行了广泛实验,并将其性能与当前先进方法进行了比较,结果表明其在准确性和处理速度方面表现出显著优势。研究结果表明,该方法不仅在实时室内植物识别中高度有效,还在提升室内植物养护和可视化方面具有实际应用价值。本研究为室内植物爱好者和专业人士提供了一种综合解决方案,将先进的计算机视觉技术与沉浸式AR可视化相结合,革新了室内植物的识别、可视化及与生活空间的融合方式。

 

图1 PlantView模型的综合框架,用于提升室内植物识别与增强现实可视化。

 

图2 用于PlantView方法的自定义数据集样本图像。

 

图3 卷积层内部滤波器应用的可视化表示。

 

图4 ReLU激活函数的图示表示。

 

图5 该AR应用程序开发过程的一般工作流程。

 

图6 提出的实时室内植物分类和AR可视化方法的详细工作流程。

 

图7第50轮植物识别训练过程及损失曲线。

 

图8 (a) 该部分展示了原始的真实环境;(b) 该部分展示了增强现实(AR)环境中的多植物增强;(c) 该部分展示了增强现实(AR)环境中的单植物增强;(d) 该部分展示了带有附加选项的增强现实(AR)环境中的多植物增强。

 

来 源

Afzal S, Khan H A, Lee J W. PlantView: Integrating deep learning with 3D modeling for indoor plant augmentation[J]. Ecological Informatics, 2024: 102899.

https://doi.org/10.1016/j.ecoinf.2024.102899

 

编辑

王永贤

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。