模型可解释性将可解释性与领域知识相结合，对于评估机器学习框架的可靠性至关重要，特别是在增强数字农业中的决策支持方面。人们努力建立可解释性的明确定义，并开发新的可解释性技术。评估可解释性对于充分利用可解释性的潜力至关重要。在本文中，比较了一种卷积神经网络的可解释性技术“梯度加权类激活映射”与视觉Transformers的原始关注。在一个基于图像的任务中分析了这两种方法，以分类菜花植物的收获准备情况。通过开发一个模型不可知的框架来比较基于可解释性的模型，为更可靠的数字农业系统铺平了道路。

图1  可靠性评估框架。所提出的模型可靠性评估框架分为三个阶段。最初，在执行阶段，输入图像被馈送到一个候选模型池中，该模型经过训练以预测植物的收获准备情况。超过评价指标阈值α的模型进入局部可解释性阶段，而其他模型则被丢弃。在这个阶段，使用可解释性技术对每个模型的可解释性进行定性评估。如果结果不充分，则探索替代方法，直到获得令人满意的解释。第三阶段涉及全局解释，其中使用诸如CNN的Grad-CAM和ViTs的原始注意等技术。在这里，骰子分数（DS）是在阈值属性映射Y和地面真值分割掩码Y∗之间计算的。可以接受超过DS阈值β的模型；其他的则被丢弃。

图2  输入菜花植物的图像和ResNet-18模型，输出二值分类（准备收获或未准备收获）。

图3  输入花椰菜植物的图像和具有二进制分类输出（准备收获或未准备收获）的Vision Transformer模型。

图4  GrowliFlowerL数据集的数据示例。(a)和(c)表示RGB图像，(b)和(d)分别表示相应的标记分割掩码。紫色表示背景，其他颜色表示单个植物。

图5  四个示例输入图像的结果归属图。为了更好地理解空间，地图上覆盖了RGB输入图像。最左边的一行是收获准备类。

图6  该图由四列组成：第一列为输入图像，(A)列为表示领域知识的地面真值分割图，(B)列为ViT生成的阈值关注图，(C)列为CNN最后一个卷积层的grada - cam生成的阈值属性图。