立体匹配是一种用于高通量植物表型的深度感知方法。近年来，立体匹配模型的准确性和实时性都得到了很大的提高。虽然训练过程依赖于专门的大规模数据集，但在这项研究中，我们旨在解决建立立体匹配数据集的问题。我们提出了一种半自动的方法来获取地面真实数据，包括相机校准、图像配准和视差图像生成。在这个方法的基础上，我们考虑了菠菜、番茄、辣椒和南瓜作为实验对象，并建立了一个名为PlantStereo的数据集进行重建。考虑到数据大小、视差精度、视差密度和数据类型，PlantStereo优于其他有代表性的立体匹配数据集。实验结果表明，与像素级的视差精度相比，亚像素级视差精度可以显著提高匹配精度。具体来说，对于PSMNet，EPE和bad-3误差分别减少了0.30像素和2.13%。对于GwcNet，EPE和bad-3误差分别减少了0.08像素和0.42%。此外，当考虑深度误差（0.7m时为2.5mm）、实时性能（1046×606时为50fps）和成本时，与其他深度感知方法（如飞行时间（ToF）和结构光）相比，所提出的基于立体匹配的工作流可以获得有竞争力的结果。该方法可用于构建立体匹配数据集，并可用于植物表型的深度感知。

图1 本研究中设置的数据采样系统。该系统主要由两台相机组成。双目立体ZED相机，以获得左右视图图像作为输入；Mech-Mind Pro S 基于结构光的增强型深度相机，以获得深度信息并生成用于地面实况的差异图像。

图2 本研究中的工作流程示意图。所提出的半自动方法用来生成视差图像。这些视差图像作为地面真实数据集。植物重建采用传统和深度学习方法。

图3 我们提出的从深度图像中计算左侧图像像素坐标方法示意图。

图4 PlantSeo数据集中的一些示例：左图像（第一行）、右图像（中间行）和视差图像（底行）；菠菜（第一列）、番茄（第二列）、辣椒（第三列）和南瓜（第四列）。注意，视差图像已被标准化并可视化以供演示。最佳颜色。

图5 具有代表性的立体匹配数据集的地面真实度差异分布，包括ETH3D、ApolloScape、New Tsukuba、Scene Flow、Sintel，以及PlantStereo (本研究中提出的）。

图6 在PlantSeo测试集上预测的视差结果。传统算法预测的视差图像在遮挡区域和深度不连续区域有许多无效像素。基于深度学习的方法可以获得更高的视差精度和视差密度。

图7 由上述方法构建的代表性立体匹配数据集：仿真软件（Scene Flow）、结构光（Middlebury 2006）、LiDAR（KITTI 2015）、立体匹配算法（Cityscapes）、注释（Middlebury 2001）和深度相机（PlantStereo）。第一行代表相应数据集的左侧图像，第二行代表相应的差异图像，这些图像已经被归一化和可视化，以供演示。