水稻单株穗数（number of panicles per unit area，PNpA）是决定水稻产量的关键因素之一。准确PNpA的定量对水稻高产品种的选育至关重要。以往的研究都是基于固定观测平台或无人机的近端遥感。在这些研究中产生的近冠层图像存在低效率和复杂的图像处理流程，需要手动图像裁剪和注释。本研究旨在开发一种基于无人机图像的自动化、高通量田间小区分割和穗数量化方法，以及一种新的不同穗型的分类方法，以提高样地水平上的PNpA量化。利用基于掩模区域的卷积神经网络（mask R-CNN）对15 m高度的水稻冠层RGB图像进行拼接和小区边界识别。然后将图像分割成图尺度的子图，这些子图被划分为三个生长阶段。稻穗视觉变压器（Panicle-ViT）集成了一个多路径视觉变压器，取代了掩模R-CNN主干，可以准确地检测稻穗。此外，Res2Net50架构以0°、15°、45°和90°四个角度对稻穗类型进行分类。结果表明，小区分割的分割性能与人工分割相当。Panicle-ViT在所有数据集上都优于传统的Mask R-CNN， AP50平均精度提高了3.5%-20.5%。对全数据的PNpA量化取得了较好的效果，决定系数（R²）为0.73，均方根误差（RMSE）为28.3，总体穗级分类准确率达到94.8%。该方法提高了操作效率，实现了从小区种植到PNpA预测的自动化，有望加快水稻育种中所需性状的选择。

图1  研究地点位于中国浙江省杭州市中国水稻研究所，水稻播种后98天(a)和中国浙江省嘉兴市农业科学院，水稻播种后104天(b)。

图2  基于Mask R-CNN的农业遥感图像小区分割。

图3  稻穗数据分类图，其中FHtM表示成熟期的完整抽穗。

图4  数据集图像在不同阶段的完整标题。(a)原始图像和(d) FHtM第一阶段第三阶段的注释图像。(b)原始图像和(e)第二第三阶段的注释图像。(c)最后第三阶段的原始图像和(f)注释图像。

图5  Panicle-ViT(a)，backbone (b)，多尺度patch嵌入(c)，多路transformer 块 (d)。

图6  稻穗为0°角(a)、15°角(b)、45°角(c)和90°角(d)。

图7  2022年1号田小区分割总体结果(a)和部分小区分割细节(b)。

图8  基于Mask R-CNN（橙色点）和Panicle-ViT（蓝色点）的单位面积稻穗数（PNpA）的精度。全阶段图像(a)、第一第三阶段图像(b)、第二第三阶段图像(c)和最后第三阶段图像(d)。R2、RMSE和rRMSE分别表示决定系数、均方根误差和相对RMSE。

图9  Res2Net50分类器对测试数据集的混淆矩阵。

图10  超高分辨率图像(a)、(b)、(c)与高分辨率图像(d)、(e)、(f)的比较。

图11 基于2023验证数据集的Panicle-ViT预测验证PNpA。

图12 映射的例子的预测单位面积穗数(PNpA) 2022年在地块1 (a)和地块2 (b)，以及PNpA时间序列分析在地块1 (c)和地块2(d)。左侧虚线表示10%的抽穗日期，右侧虚线表示80%抽穗日期。