植物叶片在利用深度学习（deep learning，DL）进行物种自动识别中起着关键作用。然而，由于DL模型固有的“黑箱”问题，实现叶片变异的可重复性捕获仍然具有挑战性。为了评估DL在捕获叶片形状方面的有效性，本文使用了几何形态计量学（geometric morphometrics，GM），这是可解释人工智能（eXplainable Artificial Intelligence，XAI）工具包的一个新兴组成部分。直接拍摄了毛茛原位和处理后的叶片。从这些相应的叶片图像中，使用神经网络自动提取DL特征，并使用GM对叶片形状进行数字化。然后使用降维和协变模型评估提取的DL特征与GM形状之间的关联。DL特征有助于源种群在原位和处理后叶片图像数据集中对叶片图像进行聚类，并且某些DL特征与转基因推断的生物叶片形状变化显著相关。DL特征还有助于在复杂的毛茛物种复合体中对叶片进行形态-系统基因组分类。结果证明了简单的原位叶片成像和DL可重复地捕获种群水平上的叶片形状变化，而将这种方法与转基因相结合，为通过计算机视觉从图像中提取形状信息提供了关键见解，这是可靠的自动化植物表型的必要先决条件。

图1  本研究从数据采集到研究问题的流程。(a)毛茛属开花植物，具有发达的基叶。图像数据来自与智能手机图像相同的叶片（=原位叶片图像）和处理后的叶片扫描（=处理后叶片图像）。原位叶片图像具有自然背景，而处理后的叶片图像具有均匀背景。从原位和处理后图像中，自动提取DL特征（使用CNN）并手动提取GM形状（使用地标数字化）。(b) DL特征聚类（RQ1）、DL特征与GM形状的共变（RQ2）、DL特征的形态-类群自动分类（RQ3）等方面的研究问题。

图2  聚类DL特征以推断总体样本之间的差异。（a, b）使用UMAP对从原位(a)和处理后叶片图像(b)中提取的DL特征进行非线性降维。(c)用同样的方法突出原位和相应的处理化叶子图像之间的差异。

（d, e）采用主成分分析法进行线性降维，然后进行判别分析（DAPC），推断原位种群样本(d)与处理后叶片图像(e)之间的统计差异。(f)原位和处理后叶片图像数据的DAPC差异显著。6个总体样本通过颜色区分：蓝色= EH10333，红色= KK065B，灰色= KK203，深绿色= LHM001，绿松石色= LHT001，紫色= LK0001。

图3  计算机视觉与几何形态形态分析，以推断群体之间的差异。(a) Grad-CAM，用于说明神经网络在区分种群样本EH10333（上两行）和KK065B（下两行）时注意力的差异。两个总体样本显示了一个代表性的热图和六个不同热图的平均值。(b)毛茛（Ranunculus auricomus）基叶的特征形态。叶子轮廓上的26个标记是生物学上的同源点，这是提取叶子形状的基础。（c - e） (b) Procrustes-aligned （叠加）地标配置（此处仅显示对称成分）作为PCA提取形状变量(c)和典型变量分析（CVA）种群样本判别（d, e）的基础。种群样本EH10333（红点）和KK065B（蓝点）被突出显示，线框图显示了最能分离种群的GM形状趋势。与典型变量轴平行的黑色箭头表示叶片形状变化的方向，该方向最能区分组。橙色线框图表示原位叶片形状，绿色线框图表示处理后的叶片形状。(f)对转基因形状进行判别分析，以推断原位叶片图像（橙色）与相应的处理后叶片图像（绿色）之间的差异。

图4  叶形状变化捕获的深度学习和几何形态计量学：关联分析。(a)代表叶片形态空间的散点图（从处理化叶片图像推断），显示叶片形状沿三个主成分的变化。线框图显示了主成分描述的叶片形状变化。显示了两个种群样本（LHT001/绿松石色，EH10333/蓝色）的置信椭球，以突出它们在叶片形态空间中的分离。柱状图表明有多少DL特征与每个主成分有显著的相关性。(b)形态空间上GM形状差异（Procrustes距离）和DL特征差异特征空间（Euclidean距离）的Mantel检验。值为Spearman等级相关系数，仅显示显著值。（c, d）对形态空间中的GM形状与特征空间中的DL特征之间的协变进行偏最小二乘（PLS）分析，提取DL特征捕获的GM形状变化的主要方向。(c)原位叶片图像数据集的PLS散点图。(d)处理后叶片图像数据集的PLS散点图。散点图中的圆圈根据六个总体样本着色。

图5  基于深度学习特征的草叶图像自动分类。叶片图像被划分为毛茛（Ranunculus auricomus）物种复合体的形态-类群。(a)训练数据的例子，显示三个形态-类群C（蓝色）、E（绿色）和N（橙色）的特征形态的叶子图像。在训练数据集中，每个形态-类群组由代表有性种群和无融合种群的叶片形态组成。这张地图显示了欧洲三个形态类群的地理分布。(b)混淆矩阵，用于推断不同机器学习分类算法(RF, random forest；支持向量机；XGBoost （eXtreme gradient boosting）训练后对测试数据进行分类。(c)在代表c、E、n三个形态类群的叶片图像上训练分类器后，对6个种群样本进行自动分类。处理化的叶片图像显示了每个种群样本的特征叶片形态，饼状图显示了每个种群样本中被划分为一到三类的叶片比例。总体样本的最终分类是由三个不同的分类器一致地对最频繁的类别进行分类。

来源

Hodač L, Karbstein K, Kösters L, Rzanny M, Wittich HC, Boho D, Šubrt D, Mäder P, Wäldchen J. Deep learning to capture leaf shape in plant images: Validation by geometric morphometrics. 2024, 17053.

编辑

王春颖