DroneZaic:用于拼接自由飞行农业航拍视频的稳健端到端系统


发布时间:

2025-10-21

来源:

作者:

无人机(UAV)在定量遗传学与育种试验的高通量表型分析中的应用日益广泛。理论上,自由飞行的无人机能够在实时条件下灵活识别并监测感兴趣的地块与植株。将多幅影像拼接为一幅高分辨率全景图可实现田间的整体可视化,而消费级无人机因低成本、易飞行及优良的 RGB 相机而被广泛采用。然而,无人机位置遥测的不精确使得在拼接过程中估计帧间单应矩阵变得复杂,且误差累积会导致拼接后段出现畸变。作物田块尤为具有挑战性:规则的种植格局与高度相似的植株消除了可用于配准的显著特征。为应对上述挑战并便于更广泛的研究者使用,本文提出 DroneZaic——一套端到端处理系统,其能够动态抽取视频帧、自动完成相机与云台标定、估计单应变换并生成子拼接(mini-mosaics)。上述技术的协同应用显著降低了输出拼接的误差。其无监督深度学习组件在包含不同飞行轨迹、玉米品系、生长阶段及合成光照增强的综合视频数据集上进行训练,以系统性地改变光照并引入噪声,从而提升模型的泛化能力。经改进后的 CorNetv3 与 DroneZaic 在准确性上优于对照方法:绝对百分比误差(APE)提高了 13.1%,推理速度较仿射尺度不变特征变换(ASIFT)快 14.11 倍,且比先前的 CorNet 与 CorNetv2 更为鲁棒。文中展示了 DroneZaic 在对自由飞行无人机采集影像进行高精度拼接方面的有效性与泛化能力。
  

图1 四种无人机(UAV)飞行轨迹示意:前向(红色)、后向(蓝色)、垂直于作物行的蛇形并带有横向滑移(黄色)、以及平行于作物行的蛇形并带有横向滑移(紫色)。无人机按轨迹进行颜色编码。F 表示无人机前方,箭头表示飞行方向 。

 

  图2 基于光流对无人机运动进行分类。图 (a) 和 (b) 展示了两个帧对之间逐像素光流的矢量图,以及用于运动分类的矩形划分。中间的灰色矩形未被考虑 。

 

  图3 CorNetv3 的训练示意图,展示了数据准备、增强和训练流程 。

 

  图4 基于光流的镜头检测。红色叉号表示选定的镜头边界。(a) 为在成株玉米蛇形轨迹带横向滑移过程中检测到的 16 个镜头,共生成 17 个子拼接图。(b) 为在幼苗期玉米蛇形轨迹带横向滑移过程中检测到的 13 个镜头,共生成 14 个子拼接图。

  

图5 子拼接与全局拼接组装。

 

 图6 DroneZaic 工作流程。黄色表示输入视频;蓝色表示动态采样;紫色表示镜头和云台标定;绿色表示基于 CorNetv3 的单应性估计;粉红色表示镜头切换检测;橙色表示子拼接和全局拼接 。

 

  图7 DroneZaic 在幼苗期玉米上的拼接效果与真实图像对比。对比了不同方法(CorNetv2、CorNet、ASIFT、WebODM)生成的拼接结果与单帧高空图像的真实情况。结果显示,DroneZaic(CorNetv3)产生的几何畸变最小,拼接更接近矩形且结构完整 。

 

 图8 DroneZaic、CorNetv2、CorNet 和 ASIFT 在成熟玉米蛇形飞行数据上的拼接结果对比。左列 (c)(e)(g)(i) 为无子拼接结果,右列 (d)(f)(h)(j) 为使用镜头切换检测与子拼接的结果。(a) 为同一天在高空拍摄的单幅真实图像,(b) 为 WebODM 拼接结果 (0.02 cm/像素)。所有图均为相同放大倍数 。

 

  图9 DroneZaic 与 CorNetv3 在不同对象(农用建筑、向日葵田、南瓜地)上的拼接结果。与 ASIFT 对比,CorNetv3 拼接更准确,几何畸变更小,泛化性更好。

 

 图10DroneZaic 在不同无人机和飞手条件下的泛化性,展示其在多样化用户和无人机条件下的适应性与实用性。图 (d) 和 (e) 分别展示了 DJI Air 2S 采集的幼苗期和成熟期玉米拼接结果。

 
来 源

Kharismawati D E, Kazic T. DroneZaic: A robust end‐to‐end pipeline for mosaicking freely flown aerial video of agricultural fields[J]. The Plant Phenome Journal, 2025, 8(1): e70033.

https://doi.org/10.1002/ppj2.70033

 

编辑

王永贤

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。