学术中心
在复杂的野外环境中通过光谱重建从无人机图像中分割植被
发布时间:
2025-05-18
来源:
作者:
对植被遥感图像进行分割可最大限度地减少背景干扰,从而实现对植被信息的高效监测与分析。然而,由于环境条件本身的复杂性,植被分割面临着巨大挑战。目前,为应对复杂环境,越来越多的研究开始采用光谱感知与深度学习相结合的方法进行田间植被分割。但仍存在两大限制:一是田间光谱数据采集所需设备成本高昂;二是田间数据集有限且数据标注既耗时又劳动强度大。为了解决这些问题,我们提出了一种基于光谱重建(SR)技术并借鉴植被指数(VI)理论的弱监督田间植被分割方法。具体而言,为降低数据采集成本,我们分别提出了基于卷积和注意力结构的 SRCNet 与 SRANet 来重建田间多光谱图像。随后,借鉴植被指数原理,我们将重建数据进行聚合,以建立各光谱波段间的关联,从而提取出更显著的植被信息。最后,我们采用自适应策略,通过弱监督方法对融合后的特征图进行分割,无需人工标注即可获得田间植被分割结果。实验表明,该分割方法在真实田间数据集上实现了 0.853 的平均交并比(MIoU),优于现有方法。此外,我们还开源了一个包含 2358 对样本的无人机 RGB-多光谱图像数据集,以丰富遥感农业数据资源。
图1 光谱成像方法比较。(a)通过光谱成像设备进行传统多光谱数据采集;(b)基于光谱重建方法通过RGB图像进行光谱数据采集。
图2 数据采集环境与设备。(a) 数据采集设备;(b) 田间环境。
图3 数据预处理流程图。“M-SI” 表示在不同波段的四个单通道光谱图像,"RGB" 表示可见光图像,"M-MSI" 表示裁剪后的四通道光谱图像,"C-RGB" 表示与多光谱图像对应的裁剪后可见光图像。进行此处理是为了丰富数据,从而增强模型的鲁棒性。
图4 本研究的主要流程图。该流程包括数据预处理、光谱重建模型的比较以及重建数据的应用。"SI′" 表示重建后的光谱图像。(a) 数据处理:包括对原始数据进行配准、裁剪等操作,以适用于光谱重建任务。(b) 采用不同类型的光谱重建(SR)模型以适应多种数据场景,其中仅训练过程需要光谱数据参与。(c) 对光谱重建结果进行处理,以应用于相关任务。
图5 两种光谱重建(SR)模型的结构。X 表示输入的 RGB 图像数据,Y 表示重建后的光谱图像数据。
图6 重建光谱结果的可视化对比。彩色框用于突出显示重建图像中的细节区域,以更清晰地展示这些局部区域的差异。"GT" 表示真实光谱数据。
图7 不同光谱重建(SR)模型下植被分割结果的比较。"W/_D" 表示 W/ 结果的植被与非植被可视化,"SAM" 结果是直接使用 "Everything" 选项得到的分割结果。"GT" 表示人工标注的真实分割结果。
图8 田间植被分割完整效果图。第一行表示 RGB 图像,第二行表示分割掩码图像,第三行表示 RGB 图像与分割掩码的叠加效果图。
图9 模型重建光谱数据指标比较。(a) SR 模型的 MRAE 指标变化趋势;(b) SR 模型的 SSIM 指标变化趋势。
图10 基于植被指数(VI)的不同参数设置下的分割结果比较。(a) MIoU 指标;(b) PA 指标;(c) MPA 指标。
图11 不同训练轮数(Epochs)下光谱重建(SR)结果在植被分割任务中的 MIoU。
图12 FloodNet 数据集上的分割实验定性结果。第一行表示 RGB 图像,第二行表示分割掩码图像,第三行表示 RGB 图像与分割掩码的叠加效果图。
图13 “强噪声”对光谱重建效果的可视化。
Pei Z, Wu X, Wu X, et al. Segmenting Vegetation from UAV Images via Spectral Reconstruction in Complex Field Environments[J]. Plant Phenomics, 2025: 100021.
编辑
王永贤
推荐新闻
视频展示