背景：

前期研究工作者在人工跟踪植株成熟度、测量育种试验小区早期种植密度和作物高度方面已经做了大量的工作。相对成熟度（RM）、株数（SC）和株高（PH）等农艺性状对于品种开发、生产建议和管理实践至关重要。使用无人机采集的 RGB 图像可取代田间试验中的传统测量方法，从而提高产量、准确性并降低成本。深度学习（DL）方法的最新进展推动了自动化高通量表型（HTP）系统的发展，该系统可利用低成本的 RGB 无人机快速准确地测量目标性状。本研究采用卷积神经网络（CNN）与长短期记忆（LSTM）相结合的混合模型，对时间序列数据进行特征提取和序列行为捕捉，并利用无人机拍摄的时间序列图像估算四季豆相对成熟度（RM）。此外，还考察了Faster-RCNN物体检测算法在四季豆早期生长阶段的株数（SC）评估中的性能。研究了各种因素，如飞行频率、图像分辨率、数据增强以及伪标记技术，以提高 DL 模型的性能和准确性。传统的图像预处理方法也与本研究中采用的DL模型进行了比较。此外，还利用数字表面模型（DSM）和点云（PC）数据源对植物结构进行了分析，以提取植物高度（PH）。

结果：

无论图像大小或飞行频率如何，CNN-LSTM 模型在预测不同环境和飞行数据集中的地块 RM 方面都表现出很高的性能。DL 模型的性能始终优于使用传统分析方法（LOESS 和 SEG 模型）的预处理图像方法，特别是在使用平均绝对误差 (MAE) 进行误差比较时，在所有环境中的预测误差均小于两天。将生长度日 (GDD) 数据纳入 CNN-LSTM 模型后，在某些环境中，特别是在不利的环境条件或天气压力下，性能有所改善。然而，在其他环境中，CNN-LSTM模型的表现与CNN-LSTM + GDD模型相似或略胜一筹。因此，除非天气条件极端恶劣，否则可能不需要加入 GDD。本研究采用的Faster R-CNN模型成功地准确识别了处于早期生长阶段的豆类植物，预测的SC与地面实况（GT）测量值之间的相关性为0.8。该模型在不同飞行高度下的表现一致，与OpenCV中预处理图像的传统分割方法和分水岭算法相比，其准确度更高。为了获得最优的结果，应该谨慎地选择合适的生长阶段，以及精确的边界框标注。总的来说，PC 数据源在估算PH 方面略优于 CSM/DSM 数据，PC和CSM/DSM的平均相关结果分别为0.55和0.52。两者之间的选择可能取决于特定的环境和飞行条件，因为在分析的场景中PH 值的估算性能是相似的。不过，可以通过采用不同的阈值和指标来分别对数据进行分类和高度提取，从而优化地面和植被高程估算。

结论：

结果表明，CNN-LSTM和Faster R-CNN深度学习模型分别在量化RM和SC方面优于其他最先进的技术。在缺乏精确地面高程数据的情况下，为估算 PH 而提出的减法得出的结果与基于差分的方法相当。此外，为进行PH和RM分析而开发的开源软件可为表型平台做出巨大贡献。

表1 本研究使用环境详情和飞行设置来估算相对成熟度（RM）、株数（SC）和株高（PH）性状。在 2020 年至 2022 年期间共测量了5个环境，以估算 RM 和 PH，而 SC 仅使用 2022 年 SVREC 的数据进行估算。每个田间地点的地块总数、种植日期、地面控制点（GCP）数量和飞行任务设置各不相同。

表2 在5种环境（2020 年、2021 年和 2022 年的 SVREC，以及 2021 年和 2022 年的 HURON）中，为预测相对成熟度（RM）而部署的不同模型的性能指标。深度学习模型（CNN-LSTM）在2种图像尺寸（256×64和512×128）下进行了训练和测试，CNN-LSTM、LOESS 和 SEG 方法使用 6 或 9 次飞行进行了评估。测量的性能指标包括 r（相关系数）、r2（判定系数）、MAE（平均绝对误差）和 MSE（平均平方误差）。

表3 高通量表型分析中各种林木植株数（SC）估算方法的性能比较。评估的方法包括基于深度学习的方法（Pred_Faster RCNN）、使用 OpenCV 的两种传统计算机视觉技术（OpenCV1 和 OpenCV2），以及用 Python (WS_py)和R (WS_r)实现的分水岭分割算法。使用4个指标对性能进行评估：皮尔逊相关系数 (r)、判定系数 (r2)、平均绝对误差（MAE)和均方根误差（RMSE)。报告了地面实况（GT）林木数量和注释边界框的数值。

表4 在5种环境中使用 CSM/DSM 和点云数据源进行植物高度估算的性能比较。使用4个指标对性能进行评估：皮尔逊相关系数 (r)、判定系数 (r2)、平均绝对误差 (MAE) 和均方根误差 (RMSE)。