植物的生理功能主要是由叶片来执行，叶片的形态特征满足植物的多种功能需求。量化叶片形态的传统技术主要依赖于2D图像，对叶片的3D功能的理解有限，而测量技术的最新进展改进了3D数据采集流程。因此，在本研究中，我们提出了一种结合2D图像实例分割和基于曲线的3D重建叶缘的方法。而该方法根据2D叶缘检测技术、相机位置和SfM方向的估测，并用于曲线片段集成到3D叶缘的Bspline拟合曲线上，将多视图图像重建3D叶缘。该方法在虚拟和实际植物叶片上演示。在虚拟生成的叶片上，我们计算标准化Fréchet距离来评估3D重建的准确性。为了平衡3D曲线片段的数量和精度，我们提出了设置阈值的指南，用于模拟数据重建准确的曲线片段。研究表明，随着遮挡增加、叶片尺寸增大以及相机位置的误差存在，阈值变得越低。除了极少数情况外，图像数量不会影响最佳阈值。此外，当孔的数量为三个或更少时，所提出的方法成功重建了叶孔。在本研究中，开发了一种3D叶缘重建的无损方法，以解决植物的3D形态特性。

图1  基于点的三维重建问题

(a)： 难以从点云数据中分辨叶缘。叶片的多视图图像之一（左）和重建的点云数据（右）。(b)： 叶片上的孔洞是基于点云的重建中的伪影。无孔洞的叶片多视图图像之一（左）和叶片上缺失部分的重建点云数据（右）。(c)： 龟背竹生长过程中叶片上有孔洞（左）和受损樱桃叶片示例（右）。

     图2  模拟的三维叶片边缘重建方法概览

(a)： Mask R-CNN对每个图像中的每片叶子分割。(b)： 从分割出的叶片中检测出每个2D叶缘。(c)： 基于SfM估计相机位置和方向。获取稀疏点云数据和投影矩阵。(d)： 识别多视图图像中的叶片。(e)： 使用3D曲线草图在3D空间中重建曲线片段，该草图整合了2D叶缘、投影矩阵和叶片对应关系。(f)： 对应于单个叶子的每组3D曲线片段上拟合闭合的B样条曲线后获得3D叶缘。

图 3  基于曲线的叶缘三维重建

(a)：通过沿着极线带（蓝色带）搜索2D图像中的相交曲线片段。(b)：重建3D曲线片段并将其重新投影到其他图像上，以评估重建曲线与真实投影的相似程度。对假设如果再投影的2D曲线片段与2D叶缘（灰色虚线曲线内）足够接近，则支持成对假设。(c)：仅重建由足够数量的图像支持的3D弯曲片段。

图 4  模拟树叶的三维叶缘重建示例

重建单片叶子（上部，绿色）和多片叶子（下部，灰色）的3D边缘。每个重建的三维叶缘用不同的颜色表示。原始网格(左图）、重建的3D边缘（中图）和重叠的3D边缘（右图）。

图5  叶片对应的识别

(a)： 云投影到每张图像上来识别图像之间叶片的对应关系。(b)： 将一组点云数据聚类到每片叶子的示例，其中并去除特定视点（左）的背景和相应视角（右）的遮罩图像。(c)： 投影点云数据的计数数据的热图。峰值表示掩膜图像中的聚类与实例之间的对应关系

图6  用于评估3D重建准确性的模拟

(a): 假设有三种程度的遮挡：无柱（左）、细柱（中）和粗柱（右）。(b): SFD与叶面积的箱线图。行列对应的相机位置噪声（上：0 mm，中：1 mm，下：3 mm）和图像数量（左：32张图像，中：64张图像，右：128张图像）。每种颜色表示不同的遮挡程度（蓝色：无柱，橙色：细柱，绿色：粗柱）。

图7  基于模拟叶片数据提出的最佳阈值

(a): 最佳阈值与遮挡指数的散点图，每个点对应的最佳阈值在精确度>0.99时达到最大召回率。标记的颜色表示叶面积。(b): 相机位置噪声。(c): 多视图图像的最佳阈值箱线图。

图8  实际大豆植株的三维叶片边缘重建图

每行对应不同的生长阶段（21、28和42DAS）。左列显示了多视图图像中部分2D图像的示例。右侧三列显示了不同阈值下的3D叶缘重建结果：平均值-0.5 SD、平均值-0.25 SD 和最佳阈值对每个叶片OI的预测分布的平均值。

图9  带孔叶缘的重建

从左上到右下，孔数从1个增加到6个；紫色线条代表重建的边缘，绿色区域代表地面实况网格。在有5个和6个洞的情况下，将垂直于叶子重建几个孔。