植物疾病是全球粮食危机的关键驱动因素，当前早期和复杂检测方法仍具挑战性，多模态技术可能提供更有效解决方案，但植物疾病研究中多依赖单模态数据，因此开发文本模态生成技术至关重要。为此，作者提出一种通过逐步遮蔽疾病图像来对齐植物表型与性状描述以诊断文本的方法：首先为训练和验证，让专家对 5728 张疾病表型图像进行诊断文本注释，并为 210000 张疾病图像提供注释文本和性状标签；接着提出由全局和异构特征编码器以及切换注意力解码器组成的 PhenoTrait 文本描述模型，以实现准确的上下文感知输出；然后采用三个阶段将图像特征嵌入语义结构，以生成保留性状特征的描述；实验结果表明该模型在多个性状描述上优于包括GPT-4和GPT-4o在内的多个前沿模型，代码和数据集可在https://plantext.samlab.cn/获取。

图1  人类和人工智能对医学和植物疾病诊断的比较。该图展示了多模态学习模型的应用，该模型最初用于人类医疗保健，现在扩展到植物疾病诊断。

图2  数据集构建的两个过程。第一步：两名专家对同一幅图像进行诊断文本标注，提取常用的疾病图像描述标签，生成专家诊断文本模板。第二步：采用众包技术，我们手动标记图像并将标签填充到模板中，从而创建了一个全面的数据集。

表1 全面展示特质描述和词云

图3 提出的PlanText框架，其中包括三个组成部分：一个PhenoTrait文本描述模型，一个三阶段逐步掩蔽指南，和表型性状标签提取。PhenoTrait模型通过编码器和Switch Attention解码器从疾病图像和描述中提取特征。逐步掩蔽技术通过揭示隐藏的文本来对齐表型和特征，确保准确的描述。模板搜索方法改进了模型评估和标记控制。PlanText用于疾病识别、健康监测、警报和作物管理。

图4 PhenoTrait文本描述模型的细节。左边是全局和异构特征编码器，另一边是切换注意解码器。

图5 不同注意力解码器的比较。(a)自适应注意力模型用于在给定的图像区域特征中动态选择重要特征，以提高描述生成的准确性。(b)我们的开关注意解码器进一步提高多模态特征融合，通过引入一个切换机制，动态平衡图像和文本上下文之间，以生成更准确和上下文感知的描述。

图6 PlanText逐渐屏蔽的指导。1)随机文本掩蔽，用于训练基本的图文融合模型  2）图像特征掩蔽，用性状标签替换图像的表型特征，增强文字描述  3）文本解释级掩蔽，将图像特征与文本描述精确对齐，生成植物病害的准确描述。该策略利用渐进掩蔽和注意力转换机制来提高诊断能力。

图7 表型性状标签提取图，包括性状标签搜索。它将图像映射到特征向量，通过模板遍历动态更新标题，并有效地搜索特征标签以优化结果。

表2 前沿模型和我们的模型在几个表型特征上的比较，我们的模型在几个指标上更好。

图8 文本引导消融，带和不带文本引导建模的搜索成本图，水平坐标表示图像的ID（0-600），垂直指示符表示搜索成本越高。我们的模型通过模板搜索标签都有一个搜索成本（token search number，即搜索第一个标签所需的token个数），搜索成本越高所需的时间越长，而模型在图像表型特征上获得的越少（成本越高的模型越容易陷入重复文本的生成，忽略了图像表型的广泛提取）。

图9 切换注意力可视化。

图10 我们的模型评估各种苹果疾病的结果。

图11 我们的模型对不同植物白粉病的结果。

表3 叶病检测的综合模型评价。

表4 模型性能的详细分析。

图12 模型在苹果病害评估中的结果。