在植物表型的联合多模态监测系统中使用多种相机技术提供了有希望的好处。与仅利用单一相机技术的配置相比，可以记录跨模态模式，从而可以更全面地评估植物表型。然而，跨模态模式的有效利用依赖于精确的图像配准，以实现像素级的精确对准，这一挑战往往因植物冠层成像固有的视差和遮挡效应而复杂化。在本研究中，提出了一种新的多模态3D图像配准方法，通过将来自飞行时间相机的深度信息集成到配准过程中来解决这些挑战。通过利用深度数据，提出的方法减轻了视差影响，从而促进了更准确的跨相机模式像素对齐。此外，引入了一种自动机制来识别和区分不同类型的遮挡，从而最大限度地减少了注册错误的引入。

图1  配准后像素对齐。提出的方法能够对来自不同类型相机的多幅图像进行配准，并能够在像素级对多模态信息进行组合处理。

图2  3D多模态配准方法全流程。

图3  3D投影原理。用于投影用于配准的像素信息的几何示例。CD为深度相机，CT和CS为任意位置的相机，分别代表目标视图和源视图。图像CT和图像CS显示了观察车辆的两个摄像头记录的三维空间图像(右下)。蓝线表示p(u, v, 1)CT投影到三维空间对应的极线。绿线和橙线分别为CT和CD的投影线。

图4  以两个相邻叶子为例，从深度图生成3D网格的示意图可视化。每个像素的深度图距离由蓝色(近)到黄色(远)的颜色梯度表示。每个像素(例如白点)被转换为一个网格顶点，并通过网格边缘与它的8个邻居连接。如果垂直角度超过15°，则省略边缘，这可能发生在相邻叶子(红线)的像素上。

图5  投影的案例。a)不同摄像机CT和CS (CD为深度摄像机)之间可能出现的投影误差和不确定性的不同情况:1)合法投影，2)遮挡误差，3.1)传入不确定对应，3.2)不确定对应。案例4、5和6仅从目标相机CT的角度相关。4)表示一定的冠层面积。5)表示不确定区域，6)表示确定背景区域。b)不确定性网格：绿色多边形表示简化的冠层物体网格Mo，棕色区域表示地平面。通过从深度相机CD发射光线穿过Mo的边界边缘的顶点，找到了与地平面的交点，这样就可以构建不确定性网格Mu(蓝色网格)。

图6 a)多模态相机设置概述。三个摄像头(深度+ RGB +红外)，热成像和高光谱)以蓝色显示，安装在铝型材结构的顶部(灰色)。此外，我们有两种光源：卤素灯(黄色)和LED灯条(浅蓝色)。b)摄像机校准：在校准过程中，我们在场景中移动一个检查板，并记录每个摄像机。标定后得到摄像机的内外参数。

图7  棋盘校正模式的外在误差和深度误差∆E和∆D的视觉解释。角为p(u, v, 1)CT转换为三维极线(蓝色)。这条线可以投射到配对视图图像CS中。

图8  图像配准结果。每个记录的植物物种，呈现注册前(上)和注册后(下)的图像。配准是基于红外图像作为目标模态的CT。红框定义了对注册图像可视化的感兴趣的区域。

图9  红外目标模态CT配准图像的四模态图像拼接。每个植物物种的图像拼接被构造，以更好地显示模式的对齐，从而注册的质量。

图10  当注册到红外作为目标模态CT时，所有模态的注册结果的详细视图。每个植物的底部行显示一个与红色边界框对应的放大视图。蓝色箭头指向模态中完全相同的像素位置。它们表示注册后显著地标的像素对齐情况。

图11  以叶片结构非常不同的植物为例，检测了不同投影情况下的误差和不确定性。对于每个图像，第一摄像机名称指定源视图CS，第二摄像机名称指定所选目标视图CT。

图12  不同目标视图(红外，RGB，热成像，高光谱)的不同确定性区域类型的可视化。每张图像显示每个投影情况的颜色叠加:P4:确定目标区域(绿色)，P5:不确定目标区域。P6:某些背景区域由剩余像素表示，没有任何覆盖。

图13  重建了不同植物种类的多模态点云。第一列显示了原始的RGB图像，以供参考。