在不断变化的环境条件下，对非生物和生物胁迫，特别是其组合的早期和特异性检测，是维持和提高可持续农业植物生产力的主要挑战。光学成像技术能够经济高效且无损地量化植物的胁迫状态。某些压力源的单峰检测通常基于非特异性/间接特征，因此通常限制了与其他压力源的交叉特异性。多域传感器系统的融合可以为机器学习模型提供更多潜在的判别特征，并可能提供协同信息，以便在像素级融合图像数据时提高植物病害检测的交叉特异性。

在本研究中，我们成功地在像素级对RGB、高光谱（HSI）和叶绿素荧光（ChlF）动力学数据进行了多模态图像配准，用于对在多孔板中生长的大叶黄杨进行高通量表型分析，并对接种了黑斑病诱导真菌的月季的分离叶盘进行了检测。在此，我们展示了(i)参考图像选择、(ii)不同配准方法和(iii)帧选择对通过仿射变换进行图像配准性能的影响。此外，我们还通过基于NCC的选择为每个文件开发了一种组合注册方法，从而在牺牲计算时间的情况下实现了稳健而精确的方法。由于图像数据包含多个对象，使用全局变换矩阵进行的初始粗略图像配准在不同图像区域之间表现出异质性。通过对对象分离的图像数据进行额外的精细配准，获得了较高的重叠率。具体来说，在拟南芥测试集中，RGB-to-ChlF的重叠率（ORConvex）为98.0±2.3%，HSI-to-ChlF的重叠率（ORConvex）为96.6±4.2%。对于月季测试集，RGB-to-ChlF的重叠率为98.9±0.5%，HSI-to-ChlF的重叠率为98.3±1.3%。所介绍的多模态成像管道可针对各种生物或非生物胁迫因素，对不同植物物种进行高通量、高维表型分析。这为深入研究多域数据的相关关系或通过多模态图像融合提高机器学习模型的性能铺平了道路。

表1  本研究使用的图像配准算法

图1 拟南芥像素完美多域图像配准。A)中央图像显示了三种不同传感器系统（RGB传感器、高光谱成像传感器（HSI）和叶绿素荧光成像系统（ChlF））的输出数据的蒙太奇配准。B-E)第一行显示的是经过分割的RGB、NDVIHSI和Fv/Fm数据以及ChlF强度的灰度。侧列图像显示的是植被指数数据分析，如F）花青素反射率指数（ARI1）、G）叶绿素：类胡萝卜素指数（CCI）、H）归一化差异植被指数（NDVI）或ChlF计算参数，如I）非光化学淬灭（NPQ）。盐处理变体（50 mM NaCl）和在改良的PhenoWell®培养系统中培养的拟南芥的图像是在处理后21天（DAT）拍摄的。图像配准是通过NCC自适应方法进行的，其中转换矩阵是通过将RGB相机的绿色通道和HSI相机的540-560纳米平均强度转换为ChlF图像传感器的远红外反射率（730纳米）作为目标图像而得出的。白色刻度线表示10 mm。

表2  多模态成像传感器设置。

表3  图像配准数据集。

图2 改良的PhenoWell®板上培养的拟南芥多模态成像的硬件和输出数据。上排显示了两种商用传感器系统(高光谱和叶绿素荧光成像仪)。中间行显示所使用的成像传感器的示例性输出数据。下一行显示了一个子区域(绿色方格)输出数据的二象性差异，范围从RGB数据的3个通道，高光谱相机的250个光谱通道和叶绿素荧光成像仪的至少5个原始/基础荧光信号(叶绿素荧光动力学数据中的F0,Fm,Fm'，Fs'，F0'为红色)。

表4  拟南芥数据集rgb-chlf转换算法的配准性能。

表5  拟南拟南数据集上hsif-chf转换算法的配准性能。

表6  拟南芥实验数据中帧选择对RGB到ChlF图像配准的影响。

表7 拟南芥实验数据中帧选择对HSI与ChlF图像配准的影响。

图3 参考图像选择对拟南芥测试数据集配准性能的影响。采用相位相关算法对图像度量进行了研究，RGB:复合灰度图像，HSI:远红反射(740-760 nm)，ChlF:远红反射(730 nm)。

图4 通过交叉点可视化，展示了NCC自适应方法在拟南芥测试集上的图像配准性能。A)显示了来自测试集(B-P)的图像之一的放大版本。伪RGB图像由手动标注的三组测试图像的二值图像组成。其中，蓝色为RGB数据集的二值掩码，绿色为HSI的二值掩码，红色为ChlF成像传感器的二值掩码。两次进行配准的相交像素(RGB→ChlF, HSI→ChlF)被涂成白色，紫色表示RGB和ChlF数据的交集，青色表示RGB和HSI数据的交集，黄色表示HSI和ChlF数据的重叠。采用NCC自适应方法进行图像配准，并采用以下帧进行配准:RGB:绿色通道，HSI:绿色反射(540-560 nm)，ChlF:远红色反射(730 nm)。

表8  帧选择对月季试验数据RGB与ChlF图像配准的影响。

表9 月季试验数据中帧选择对HSI与ChlF图像配准的影响。

图5 拟南芥RGB、HSI和ChlF数据的全配准和分割图像数据集。幼苗预培养7天，之后进行实验处理(定义为处理0后的天数)。这里，对照植株的数据随时间变化而变化。第一行显示RGB数据。第二行显示了HSI数据的归一化植被指数(NDVI)。第3至6行显示了不同的参数(光合作用的最大量子产率:Fv/Fm;地面荧光:F0;最大荧光:Fm;非光化学猝灭:NPQ)从ChlF成像。图像配准采用NCC自适应方法，通过将RGB相机的绿色通道和HSI相机540-560 nm的平均强度转换为ChlF图像传感器的远红色反射率(730 nm)作为目标图像，得到变换矩阵。每个图像堆栈(DAT 0、2、4、6、8)单独注册。比例尺= 10mm。

图6 NCC自适应方法在月季测试集上通过交叉点可视化的图像配准性能示意图A)显示了来自测试集(B-P)的图像之一的放大版本。伪RGB由手动标注的三组测试图像的二值图像组成。其中，蓝色为RGB数据集的二值掩码，绿色为HSI的二值掩码，红色为ChlF成像传感器的二值掩码。两次进行配准的相交像素(RGB→ChlF, HSI→ChlF)被涂成白色，紫色表示RGB和ChlF数据的交集，青色表示RGB和HSI数据的交集，黄色表示HSI和ChlF数据的重叠。采用NCC自适应方法进行图像配准，并采用以下帧进行配准:RGB:绿色通道，HSI:绿色反射(540-560 nm)， ChlF:远红色反射(730 nm)。

图7 月季离体叶片RGB、HSI和ChlF数据的全配准和分割图像数据集。将叶盘分别用A) H2O或B)玫瑰黑斑病悬浮液(浓度为20万个分生孢子/mL)接种3天(DPI 0 - DPI 2)，在DPI 2去除悬浮液。第一行显示RGB数据，其中对照/接种液滴在2 DPI时仍然可见。第二行显示的是HIS数据中的NDVI。第三行还显示了来自ChlF传感器的NDVI，它是基于波长660 nm和730 nm的反射计算的。第4至7行显示不同的参数(光合作用的最大量子产率:Fv/Fm;地面荧光:F0;最大荧光:Fm;非光化学猝灭:NPQ)叶绿素荧光成像。图像配准采用NCC自适应方法，通过将RGB相机的绿色通道和HSI相机540-560 nm的平均强度转换为ChlF图像传感器的远红色反射率(730 nm)作为目标图像，得到变换矩阵。每个图像 (DAT 0、2、4、6、8)单独标记。比例尺= 10mm。

表10 单株图像第二阶段精细配准效果。

表11 单株图像第二阶段精细配准效果。

图 8 基于Li等人2023年开发的PhenoWell® 的改良插入物示意图[5]，用于多孔细胞培养板。插入物是用聚丙烯（HP 3D HR PP，德国巴斯夫）通过多喷射融合工艺进行三维打印的。