玉米是世界上三大主要谷物作物之一。而叶角作为作物的一个重要结构性状，在光截留和光合效率方面起着重要作用。本文使用一种可以穿越作物间的农艺间距的机器人车辆PhenoBot 3.0，配备了多层PhenoStereo相机，来捕捉田间玉米植株的侧面图像；同时提出了一种新型的叶角表示形式，由三个关键点组成三元组。最后，本文使用卷积神经网络来检测二维图像中的每个树叶角度，并用三维建模的方法从模型中提取定量数据。结果显示，所测量叶角的相关系数（r）和平均绝对误差（MAE）均达到了可靠精度（r>0.87，MAE<3.5）。由于田间和作物条件的原因，开发田间高通量玉米表型系统非常困难，其存在间距狭窄、植株过高、地面不平坦、植物冠层遮挡等难点。此外，田间种植的玉米植株的叶角特征也被认为是最具挑战性的表型任务之一。玉米植株冠层中存在大量的重叠和遮挡，相对相机的不同茎和叶方向也会影响附近的能见度。本文基于立体图像重建的三维模型和深度卷积神经网络，重点研究了检测和测量玉米植株整个高度上的叶片角度的相关问题。受关键点的人体姿态估计启发，本文从叶中脉上的点（M）、茎上的点（S）和叶领附近的点（C）三个关键点来检测叶环区域并量化叶片角度。具体目标是：（1）实现了一个定制的基于立体视觉的植物表型平台，对田间不同高度的玉米植株冠层进行成像；（2）开发一个自动图像处理流程来检测感兴趣的区域和关键点，并通过三维建模过程得到叶片角度及其相关的节高；（3）通过比较系统获得的测量结果和地面真实情况来评估所提出的方法的性能；（4）探索新开发的系统在田间不同玉米自交系中表征叶片角度变化的有效性。本文证明了在田间使用立体视觉技术研究玉米叶角分布的可行性，所提出的系统是传统叶角表型鉴定方法的有效替代方案。

图1 PhenoBot 3.0和PhrnoStereo. (A) 是带有自平衡传感器支架的PhenoBot 3.0. PhenoStereo摄像机安装在四个不同的高度, 以捕捉玉米植株的侧视图像 (B) 具有独立嵌入式设计和集成频闪灯的PhenoStereo.

图2 本文使用的软件体系结构概述

图3 叶角的两种真实数据采集方式。(A) 用量角器测量脉与茎之间的角度，并将所测角度的补角作为真实数据。（B）手动在三维点云中点击四个点，AB线和延长的DC线的角度作为真实数据。

图4 用于表征3D叶片角度的AngleNet的自动图像处理工作流程。（A）用实心边界框表示的感兴趣区域的检测。以红色实体边界框为例说明了顺序处理步骤。红色虚线边界框是用于立体匹配的扩展区域。（B）关键点检测。从ROI的热图中提取了三个关键点：靠近叶领的店（C）、中脉上的店（M）和茎上的点（S）。（C）对裁剪后的立体图像进行立体匹配，生成视差图。（D）从视差图和彩色图像重建的3D模型。将2D图像中的检测结果反投影到3D空间，并对两条直线（白色）进行拟合以计算实际的叶片角度。在本研究中，∠MCS被定义为叶片角。该通道输出两种类型的架构相关特征：叶角度及其关联的节点高度。

图5 AngleNet得出的叶角度与参考测量结果的比较。(a, b) 分别使用PS4-Boone和OS3-Ames量角器收集的估计叶角度与田间手工测量的比较。(c, d) 分别从PS4-Boone和PS3-Ames的3D点云中手动测量的估计叶角度与参考测量结果的比较。

图6 基于AngleNet生成的数据，B73和Mo17整个高度范围内的叶片角度分布。（a）B73的叶片角度随高度增加而减小。（b）Mo17的叶片角度在较低的冠层中开始减小，然后在较高的冠层中增加。

图7 由AngleNet管道生成的样本输出显示了B73和Mo17在不同高度的叶片角度的比较。红色和蓝色的线条分别代表中脉和茎的方向；它们的补角被测量为树叶的角度。(a) B73的叶片从底部开始呈递减趋势，顶部叶片直立。(b) Mo17在整个冠层具有更多的水平叶构型，穗部周围的叶构型相对竖直。