无人机表型案例:规范图像采集和检查采集图像的质量


发布时间:

2023-10-24

来源:

本站

作者:

PhenoTrait

基于无人机( Unmanned Aerial Vehicles,UAVs )的成像技术的各种光学传感器,如RGB、多光谱和高光谱相机正被广泛应用于作物研究的精确评估,图像质量的一致性对于植物性状的准确预测至关重要,然而,实现图像质量的伴随着巨大挑战,因为图像质量会受到i )无人机和相机技术设置,ii )环境,以及iii )不受无人机操作员影响的作物和田间性状因此,捕获图像需要建立健全的协议来获得合适质量的图像,而在现有研究中缺乏对这一课题的系统研究。因此,在本案例研究中,我们提出了一种方法以解决我们在此背景下遇到的问题。在我们的研究中,我们使用配备RGB相机( DJI Zenmuse x5)的无人机(DJI Inspire l Raw ),需要对一年生作物的冠层覆盖(CC)进行标准化表型分析,为了实现这一目标,我们在印度海得拉巴对5种不同的谷物和豆类作物(约300种基因型)进行了69次飞行,在不同的营养生长阶段,使用不同的无人机和相机技术组合,并跨越该地区典型的环境条件。对于每个作物-基因型组合,使用自动化表型组学平台( Leasy Scan表型组学平台,国际半干旱热带作物研究所(印))快速估计真实值( CC )。该数据集使我们能够1)量化图像采集对主要技术、环境和作物相关因素的敏感性,并将此分析用于开发针对我们的无人机相机系统的图像采集协议。简化了通过自动化的真值采集这一过程。我们还2 )确定了综合了1 )影响的重要图像质量指标,并利用这些指标制定了用于图像采集后检查的质量控制协议。为了便于2 ),我们在( https:// github.com / GattuPriyanka / Framework-for-UAV-image-quality.git)上提供了一个基于Web的应用程序,该应用程序自动计算这些关键的图像质量指标。

 

总体而言,我们提出了一种建立图像采集协议和对获取的图像进行质量检查的方法,提高了推断植物性状的准确性。该方法在ICRISAT研究站(印度海德拉巴德)的一个特定的无人机-相机装置上进行了演示,并聚焦于一个特定的作物性状( CC )。我们设想,在未来,类似的图像质量控制系统可以促进来自不同无人机成像设备的数据的互操作性。

 

图1 无人机系统采集图像过程中图像畸变的潜在来源

无人机技术设置: (无人机类型[固定/推进机翼] 、灵活稳定性、速度、高度、轨迹重叠)

摄像机的设置:(相机的分辨率、光学参数和对信号的灵敏度、光圈、曝光时间及其控制)

飞行过程中的室外环境(风速、太阳辐射、空气湿度等)

作物和土壤特性也可能是图像质量(如冠层结构及其与土壤的对比度)变化的来源

 

图2 材料与方法的图形概述,包括:1 )收集植物材料,实现自动地面真值采集冠层覆盖( CC );2 )使用UAV-RGB成像设备对作物成像,并测量图像变异的来源(即环境变化、作物变量、技术设置);3 )计算图像失真指标(综合图像质量指标),并通过软件应用进行简化;4 )统计分析,以确定影响CC预测精度的重要变量,并在采集后进行图像质量检查

 

表1变量投影重要性( VIP )得分用来评估变量对于从无人机拍摄的RGB图像中预测性状(即CC的R² / Var)准确性的重要性,包括:技术设置、环境变化、作物变量和IIQI,VIP得分可以比较每个调查变量所解释的目标变量( CC的R² / Var)的变异比例。VIP值越高,表明被调查变量与目标变量之间的关系越紧密(对于CC,为R²/V ar),VIP评分> 0.9可以被认为识别出对目标变量有显著影响的重要变量。这些都以粗体突出显示(裁剪高度、光圈、太阳辐射、Blur-DCT、过度曝光像素和NIQE),然后进一步研究了这些特殊关系的细节

 

图3 ( a-f )对目标变量( CC的R² /Var)与影响无人机影像质量的变量之间的显著性关系进行详细解剖。将图3 ( a-e )中的数据在两个坐标轴上进行对数转换。类似地,图3 ( f )中的数据被转换到X轴的对数尺度。log ( CC的R²/Var)与log (光圈) ( 3a )、log (作物高度) ( 3b )、log (太阳辐射) ( 3c )、log (过曝光像元) ( 3d )、log ( NIQE ) ( 3e )、Blur - DCT ( 3f )之间存在显著的线性分段关系。线性回归变量(Xo:“变化点”Yo:“临界点”)的显著变化表明,变量值> Y0的图像的性状预测质量发生了显著变化(即:较高的对数(CC的R²/Var)表明目标性状预测的质量较低(在Y0时发生变化)

 

图4 该工作流程总结了案例研究中规范图像采集和评估图像采集后的质量的必要过程,这些过程旨在无人机图像采集的决策提供支持。

 

来 源

Gattu Priyanka,Sunita Choudhary,Krithika Anbazhagan,et al. A Step Towards Inter-operable Unmanned Aerial Vehicles (UAV) based Phenotyping; A Case Study Demonstrating a Rapid, Quantitative Approach to Standardize Image Acquisition and Check Quality of Acquired Images [J]. ISPRS Open Journal of Photogrammetry and Remote Sensing,2023,8.

 

编辑

王瑞丹

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。