随着设施农业、机器人技术和其他技术在农业生产中的应用，准确识别单个作物物候阶段已成为精准农业的关键。然而，作物相邻物候阶段之间略微明显的视觉差异对基于图像特征的精细物候分类提出了挑战。植物的表型特征提供了丰富的作物生长模式信息，在相同的物候阶段表现出显著的相似性。本文提出了一个名为PhenologyNet的框架，该框架利用表型特征在精细作物物候分类中的重要作用。通过利用当地作物表型特征，基于物候学特定矩阵分配动态权重，开发了一种新的物候学分类模型。该模型从九个小区对相似性中计算总体相似性，捕捉到不同物候阶段当地特征的细微重要性。这与基于卷积神经网络（CNN）的物候分类相结合，使用后期融合方法，实现了对作物物候阶段的精细识别。PhenologyNet在根据28个“联邦生物学、联邦科学和化学工业”（BBCH）物候阶段分类的生菜物候数据集上进行了训练和测试，准确率为92.79%。与排除表型相似性的其他方法的比较实验表明，引入表型相似性显著提高了精细作物物候分类的效率。当BBCH物候阶段数量减少时，PhenologyNet的性能进一步提高，表明该框架在以满足精准农业要求的方式解决作物物候分类问题方面具有值得称赞的能力。

图1  室内智能水培和生长监测系统中的组件和图像采集。（a） 俯视图的生长图像由安装在每层顶部的两个摄像头捕获，并由Raspberry PI控制。（b） 侧视图的图像由安装在电动滑块上的摄像头拍摄。

图2  说明生菜物候阶段及其相关视觉差异的俯视图。

图3  所提出方法的概述。（a） CNN分类器，一种基于Resnet50预训练模型和注意机制的物候分类模型。（b） 局部特征加权作物图像相似度方法，通过计算九个斑块对的相似度，并使用权重矩阵中物候的权重k对九个相似度进行加权平均，获得两幅图像的整体相似度。（c） 表型相似性分类器，一种融合图像相似性和表型相似性的物候表型相似性KNN分类模型。应该注意的是，对于每个查询图像（QI），对来自与每个物候类别对应的训练集中的所有标记支持图像（LSI）进行图像相似性和表型相似性的比较。

图4  图像patch的ORB特征获取过程。（a） 在图像分割后获取植物的最小外部矩形。（b） 然后利用外部矩形裁剪图像。（c） 随后，裁剪后的图像被分割成九个相等的块。在（b）中，使用完整图像来提取ORB特征点，而在（c）中，则使用图像块。很明显，（c）中的每个patch生成的特征点数量都比（b）中的多。平均而言，与（b）中的整个图像相比，（c）中的每个patch生成的特征点多出57.2%，这表明特征在较小区域内的分布通常更密集。

图5  局部权重矩阵表示所有物候期图像块的相似性权重分布，该矩阵来自每个物候期内9个块的成对比较。

图6  基于表型相似性的KNN分类。由于与两个BBCH15样本具有最高的表型相似性，新图像被分类为BBCH15。

图7  图像分割结果的代表性样本。从左到右的序列由原始图像、OTSU、ExG、ExGR、HSV、NDI、U-Net和U-Net-Attention组成。

图8  不同生菜物候期表型特征数据的分布。

图9  通过t-SNE对生菜表型特征的二维表示：与物候类别的相关性以及表型特征聚类强度对分类准确性的影响。（a） 28个BBCH类别，（b）20个BBCH组，（c）14个BBCH组合，（d）7个BBCH分组，（e）3个BBCH群组（苗期、玫瑰期、结节期）。注：添加到面板（d）和（e）中的椭圆使基于BBCH组的表型特征的聚类关系更容易看到。

图10  不同方法的预测和地面真实BBCH之间的散点图。（a） 表型KNN，（b）ResNet50，（c）AResNet50。

图11  可视化KNN分类器样本的不平衡分布。（a） 随机样本数在5到40之间。（b） 随机样本数在20到40之间。