基于RGB相机的单目立体视觉在植物表型研究中的应用综述


发布时间:

2024-11-29

来源:

作者:

选育优良性状植物和改良栽培手段是实现产量增长和品质提升的重要途径。表型是基因与环境相互作用的结果,在理解植物的几何形状、生长发育等方面起着关键作用。然而,效率低下的人工表型测量已成为制约相关技术进步的主要瓶颈。基于RGB相机的单眼立体视觉系统被认为是实现高通量三维表型数据采集的一种有前途的方法。这种方法具有成本效益高、效率高和准确性高的特点。

 

本工作全面总结了单眼立体视觉中常用的八种三维重建方法,以及植物表型分析中常用的三种图像采集方法(圆形、固定和直线)。本文通过对近十年来发表的文献进行系统回顾,重点介绍了这些系统及其匹配方法在植物三维表型研究中的应用。此外,本文还讨论了不同方法的优缺点。

 

目前,基于单个RGB相机的单目立体视觉系统因其价格合理、使用方便而被广泛应用于获取多种植物性状。不同的应用场景有相应的机械结构和数据处理方法。基于深度学习的三维重建方法已经在所有三种常见的图像采集方法中展示了有希望的结果和巨大的潜力。然而,目前深度学习在重建中的有效性需要在缺乏数据集的情况下进一步验证。此外,在利用三维重建结果和选择实验对象(如垂直农业)方面存在局限性。为了推进现代育种和智能栽培,必须促进数据收集,多样化研究对象范围(如食用菌和病虫害植物),开发新型、自动化、高通量、四维表型平台。因此,基于RGB相机的单目立体视觉系统,随着应用的扩展和更高效重建算法的发展,无疑将成为未来研究的焦点。

 

图1  光度立体。

 

图2  光场相机微透镜阵列。

 

图3  对极几何。

 

图4  由轮廓形成的形状。

 

图5  空间分布。

 

图6  三种基于RGB相机的单目立体视觉系统及其自适应方法。

 

图7  周向单目立体视觉系统和三维重建模型。(a)“植物到相机”模式;(b)带解耦转台的“相机到植物”模式;(c)带机械臂的“相机到植物”模式;(d)拟南芥;(e)玉米;(f)生菜。

 

图8  原位甜菜的重建与加工;(a) RGB图像;(b)甜菜的多视图重建;(c)甜菜点云模型;(d)消除噪音;(e)叶片分割结果。

 

图9  固定单眼立体视觉系统和三维重建模型。(a)基于PS和SFSH的系统;(b)基于SFF的系统;(c)一片薄荷叶;(d)棉花叶片。

 

图10  单图像树重建;(a)单树图像;(b)中间过程;(c)树木模型。

 

图11  单目立体视觉系统;(a)基于滑轨的系统;(a)基于移动平台的系统;(c) savoy卷心菜行;(d)高粱。

 

图12  点云预处理。(a)坐标系校正。(b)背景去除。(c)噪声和异常值滤波。(d)降采样。(e)地表重建。(f)尺度校准。

 

图13  表型提取。

 

来 源

Yin, H., Luo, S., Tang, J., & Hua, J. (2024). RGB camera-based monocular stereo vision applied in plant phenotype: A survey. Computers and Electronics in Agriculture. 109523.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。