Auto-LIA:基于视觉的叶片倾角自动测量系统改善了植物生理监测


发布时间:

2024-09-17

来源:

作者:

植物传感器通常用于农业生产、园林绿化等领域,用于监测植物生长和环境参数。叶片倾角(leaf inclination angle,LIA)作为植物监测的重要基础参数,不仅影响植物的光吸收和农药损失,而且对遗传分析和其他植物表型数据的收集也有重要意义。LIA的测量结果为作物研究和农业管理(如水分流失、农药吸收和光照辐射)提供了依据。一方面,以光探测和测距(light detection and ranging,LiDAR)为代表的现有高效解决方案可以提供地块的平均叶片角度分布。另一方面,手工测量表示的劳动密集型方案可以显示出较高的精度。然而,现有的方法存在自动化程度低和叶片与植株相关性弱的问题,限制了单株叶片表型的应用。为了提高LIA测量的效率,提供叶片和植物之间的相关性,设计了一种基于图像表型的非侵入式高效光学传感器测量系统,该系统将通过计算机视觉技术实现的多过程与物理传感设备收集的RGB图像相结合。具体而言,利用目标检测将叶片与植物关联起来,并采用三维重建技术在计算空间中恢复叶片的空间信息。然后,提出了一种基于空间连续性的分割算法,并结合图形化操作来实现叶子关键点的提取。最后,寻求了计算空间与实际物理空间之间的联系,并提出了一种叶片变换的方法来实现LIA在物理空间中的定位和恢复。总体而言,解决方案具有非侵入性、全流程自动化和强叶片与植物相关性的特点,从而能够以低成本进行高效测量。在本研究中,验证了Auto-LIA的实用性,并将其与使用昂贵的侵入性激光雷达设备获得的最佳解决方案的准确性进行了比较。解决方案以低得多的设备成本展示了其竞争力和可用性,精度仅比广泛使用的LiDAR低2.5◦。Auto-LIA作为植物传感器信号的智能处理系统,提供LIA的全自动测量,为植物保护提供更好的植物生理信息监测。我们在http://autolia.samlab.cn上公开了代码和数据。

 

图1  AI算法的应用有助于扩展LIA的应用范围。作为一种自我调节的LIA,其物理性状会影响农药吸收、作物产量、水分流失和光照辐射。同时,LIA也作为植物内部属性的反馈。通过智能分析,能够评估基因的优势,监测叶片水分亏缺状况,分析光合作用效率。

 

图2  Auto-LIA的数据采集和处理管道。该系统由数据采集、植物空间信息语义、叶片关键点获取和LIA计算四个主要过程组成。(A)用于数据采集的硬件设备。(B)在计算空间中实现植物的重建,这是后续计算实现的基础,也是植物与叶片关联的关键。该部分包括:(1)目标检测,发现语义关联;(2)三维重建,恢复空间信息。(C)叶片关键点的准确提取过程,这是LIA批量高效计算的关键。该部分包括(3)基于梯度的分割,(4)基于语义的分割,(5)基于形态变换的叶子关键点提取。(D)计算空间与物理空间的转换关系,这是通过叶关键点在物理空间中获得LIA的基础。该部分包括:(6)叶片与源平面夹角的三维语义,(7)计算空间与目标叶片之间的交互细节,(8)计算空间与物理空间之间的交互以获得LIA,表示为φ。

 

图3  基于梯度的分割原理图。首先,提取深度图中相邻像素点之间的梯度差;接下来,将梯度值转换为相对于成像平面的角度值。最后,比较相邻像素点之间的角度差与规定阈值之间的相关性。这种关联关系用于确定每个像素点是叶边缘点还是叶表面点。

 

图4  Auto-LIA过程可视化。(a)输入系统的两个同步图象。(b)两幅校正后的输入图像。(c)两张裁剪后的图像,没有丢失太多的语义信息。(d)重构后的深度图像(c)。(e)场景的分割区域。(f)基于叶片区域的叶脉提取示意图。(g) Auto-LIA的测量结果。整个可视化证明了我们方法的合理性。

 

图5  功能效果的可视化。(a)两个裁剪的源图像用于LIA估计。(b)在不进行去噪操作的情况下,运行程序得到分割结果和LIA测量值。(c)运行跳转像素设置为2的程序,得到叶片结果。该图像集表明,去噪操作对叶片分割和LIA测量都有积极的影响。

 

图6 不同分割阈值和不同拍摄角度下的Auto-LIA性能。(a)分割阈值与计算运行时间的线形图。(b)分割阈值与叶片识别率、测量值的平均偏差之间的气泡图。

 

图7  实用性上表现。相同环境中不同植物的LIA测量结果。在环境光下,相机拍摄的照片是暖色调的。实例表明,Auto-LIA也能在室外环境下进行正确的测量。

 

图8  LIA与植物生理状态的关系,以水合作用为例。(a)左边的植物在缺水条件下表现出弯曲、收缩、卷曲叶子的特征。右边的植物展示了它的叶子在浇水充足时的样子。(b)不同植物的LIAs在8小时内的变化。两组平均LIAs随时间的变化趋势不同。各组LIA的方差反映了LIA在不同时期的分布情况。

 

图9  LIA应用程序的扩展。(a) LIA影响光吸收和农药损失,也有助于遗传分析和其他植物表型数据的收集。(b) LIA影响光的吸收和反射。(c) LIA是作物遗传优势分析的参考值之一。(d) LIA影响农药喷洒期间的损失量。(e) LIA影响其他植物表型数据收集的准确性。

 

来 源

Sijun Jiang, Xingcai Wu, Qi Wang, Zhixun Pei, Yuxiang Wang, Jian Jin, Ying Guo, Runjiang Song, Liansheng Zang, Yong-Jin Liu, et al. Auto-LIA: The Automated Vision-based Leaf Inclination Angle Measurement System Improves Monitoring of Plant Physiology. Plant Phenomics. 2024, 0245.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。