在人工跟踪植物成熟度和在试验田测量早期植物密度和作物高度方面已经做了大量的努力。在这项研究中，RGB无人机图像和深度学习（DL）方法被探索用于测量相对成熟度（RM），林分数量（SC）和植物高度（PH），可能提供比传统方法更高的吞吐量，准确性和成本效益。利用无人机图像的时间序列，采用混合卷积神经网络（CNN）和长短期记忆（LSTM）模型来估计干豆RM。对于早期SC评估，评估了更快的RCNN对象检测算法。飞行频率，图像分辨率和数据增强技术进行了研究，以提高DL模式的性能。使用分位数方法从数字表面模型（DSM）和点云（PC）数据源获得PH。CNN-LSTM模型在各种条件下的RM预测中表现出很高的准确性，优于传统的图像预处理方法。包括生长度日（GDD）数据提高了模型的性能，在特定的环境压力。Faster R-CNN模型有效地识别了早期豆类植物，表现出比传统方法上级的准确性和不同飞行高度的一致性。对于PH估计，在分析的两个数据集中观察到与地面实况数据的中度相关性。PC和DSM源数据之间的选择可能取决于特定的环境和飞行条件。总体而言，CNN-LSTM和Faster R-CNN模型在量化RM和SC方面比传统技术更有效。此外，开发的管道和开源软件有可能使表型分析社区受益匪浅。

表1  本研究中使用的环境细节和飞行设置来估计RM、SC和PH性状。在2020年至2022年期间，共测量了5个环境，以估计RM和PH，而SC仅使用2022年SVREC的数据进行估计。每个田间试验点因地块总数、种植日期、GCP数量和飞行使命设置而异。位于密歇根州萨吉诺（SVREC）和休伦县。重叠和GSD在无人机飞行中略有不同。

注：a各次飞行的平均无人机设置。b各航班的平均无人机设置。c用于SC管道的数据集和参数。d无人驾驶飞机不同飞行高度的GSD。

图1  本研究中使用的RM、PH和SC估计的一般HTP管道图示。(A)原始JPEG图像由RGB高分辨率无人机捕获。Pix 4Dmapper软件用于获得正交镶嵌、DSM和PC数据。(B)Shapefile使用QGIS软件与使用R软件的插件集成来构建。（C到E）使用跨季节收集的时间图像数据预测成熟度，并使用Python库NumPy将图像转换为高维数组，最终使用Python中的TensorFlow库作为CNN-LSTM模型的输入。（F到H）SC使用单一植物注释完成，并使用PyTorch中的Faster RCNN模型进行训练。（I和J）通过DSM（或DTM用于裸土飞行）和PC（植被和土壤飞行）使用中位数和分位数从植被减去土壤中减去高程以提取像素值来获得PH。

图2  部署SC管道，使用Faster RCNN模型执行对象检测分析。首先，使用框边缘将注释转换为可读格式（步骤1），在第二步中，调整图像大小以准备在训练模型中使用。步骤3旨在找到优化的超参数。然后，为了增加训练数据集，使用未注释的实验图重复3和4进行伪标记注释（步骤4）。最后，在步骤5中，使用优化的参数和注释（图像注释和伪注释）来部署对象检测模型，以训练将用于在步骤6中执行植物识别和计数的模型。

表2 用于预测5种环境中RM的不同模型的性能指标（SVREC 2020、2021和2022，以及2021和2022年的HURON）。DL模型（CNN-LSTM）在2种图像尺寸（256×64和512× 128）下进行了训练和测试，CNNLSTM、LOESS和SEG方法使用6次或9次飞行进行了评估。测量的性能指标包括r、r2、MAE和MSE。这些指标分别针对训练数据集和测试数据集提供。

图3 CNN-LSTM模型和CNN-LSTM+GDD模型在5种不同环境下使用6次飞行和256×64图像大小数据集在4个评估指标下的性能比较：Pearson相关系数（r），决定系数（r2），平均绝对误差（MAE）和均方误差（MSE）。n是每个环境中的观测总数。

图4 （A）显示了注释框与GT测量值相比的性能指标，以及7m处的预测无人机测量值。（B）显示了测量图到注释框（橙子）、GT（绿色）以及无人机（蓝色）预测到SC的趋势线。

图5 （A）显示了与注释相比，在10m、7m早期飞行时以及6m时预测的无人机测量的性能指标。（B）显示了测量图到注释框（橙子）、无人机在10m飞行时预测（绿色）以及无人机在7m早期飞行时预测（蓝色）到SC的趋势线。

表3 HTP背景下各种SC估计方法的性能比较。评估的方法包括基于DL的方法（Pred_Faster RCNN），使用OpenCV的2种传统计算机视觉技术，以及用Python（WS_py）和R（WS_r）实现的WS算法。使用4个指标评估性能：Pearson's r、r2、MAE和均方根误差（RMSE）。报告GT SC和注释边界框的值。

表4 在5种环境中使用CSM/DSM和PC数据源的PH（cm）估计性能比较。使用4个指标来评估性能：Pearson的r、r2、MAE和RMSE。

图6 通过从LOESS、SEG和CNN-LSTM模型在6和9个飞行频率的所有年份和评估位置估计的RM中减去GT获得的RM窗口大小（以天为单位）。采用均值和0.06阈值进行LOESS和SEG分析。该分析可在数据S21中找到。

图7 干豆田地块内的空间PD。(A)用质心点注释的豆类植物。(B)注释的植物之间的距离（以厘米为单位）。在（B）中，红色和黄色框分别描绘了对附近（<4cm）和远处植物（>15cm）的不良PD，而绿色框示出了植物的最佳分布。植物之间的距离以厘米表示，根据像素图像大小（GSD）计算。