植物健康和质量的评估是植物生物学、农业和食品工业的一个重要方面。随着全球人口不断增加，对高质量植物产品的需求预计将激增。因此，有必要开发用户友好、准确、经济实惠且能够在多种环境（包括田地、农场和实验室）中快速评估植物健康的自动化系统。此类系统将适用于各种应用，包括调查环境条件的影响或开发新的潜在生物刺激剂和生物农药。本文介绍了一种新型、低成本、创新的多功能高通量植物表型系统，以满足市场上尚未满足的需求。该系统旨在为不同客户提供经济实惠、可扩展、适用和可靠的服务。该系统的关键部件包括机械臂 AR4（Annin Robotics，美国）、三维（3D）扫描仪 POP 3（Revopoint，美国）和多光谱（MS）可见近红外（VNIR）相机 FS 3200D 10GE（JAI Ltd.，日本）。本文介绍了这些设备、其校准、性能评估以及最终的适用性评估。其中，AR4 的运动特性通过姿态重复性进行了评估，在无负载和有负载的情况下获得的值分别为 ±0.273 毫米和 ±0.682 毫米。此外，经校准的相机还可提供与植物色素含量相当的 NDVI 指数数据（ 𝑅2> 0.92），并可与参考的 VNIR 高光谱（HS）相机 SPECIM PFD4K-65V10E 进行比较（𝑅2> 0.99）。此外，与 Shining 3D EinScan Pro 2X 2020 或 Shining 3D EinScanSP V2 等更昂贵的三维扫描仪相比，所介绍的三维扫描仪展示了具有高度拟合度的卓越三维模型。论文最后讨论了结果、局限性、未来改进以及该设备在实验室、教育和现场环境中的潜在应用。

1、引言

植物观察与健康评估是植物生物学热门领域，涉及精准农业、环境科学等多领域及小型植物工厂和实验室栽培。以植物表型为重点的智能农业技术开发日益受关注。植物表型分析能深入了解植物形态与生命力，常用性状如茎高、叶面积等，对田间或气控室监测植物生长和健康至关重要。在植物表型设备方面，非侵入式研究中植物成像、三维（3D）测量扫描等技术兴起，三维植物性状结合延时测量形成四维（4D）性状，相比测量植物生物量干重的破坏性且昂贵的传统方法，可更好地描述植物生长动力学。

植物图像评估方法多样，基于捕捉可见光（VIS）和近红外（NIR）光谱图像的照相机或其 可见光-近红外（VNIR ）多光谱变体较流行，高光谱（HS）系统虽精度高但成本高、使用受限，涵盖近红外波段的 MS 摄像机因成本低、易获取被认为足够，且有多种变体，扫描与数据融合方案也渐多。因现代技术发展与工业竞争力需求，各领域自动化和机器人化推进，植物表型技术也如此。机械臂与 MS 成像、3D 扫描结合可提供高性能表型工具，机械臂在自动耕作和植物评估有功能方案，与旋转转盘配合可从植物下方三维扫描，高精度机械臂保障分析可重复性。然而现有复杂自动化系统存在价格、可扩展性和功能等问题。

本研究旨在推出成本效益高、性能稳定的机器人表型系统，能进行精确、可重复的三维扫描和多光谱近红外成像，介绍其设计组件、校准与性能评估程序以保数据准确性，还用校准测试数据与同类昂贵设备比较。论文包括引言、方法（阐述多功能机器人扫描仪器构造组件与标准方法并分析仪器特性）、结果（评估扫描成像特性）、讨论（对比优势）和结论部分，补充材料含其他设计方案与数据。

2、方法

2.1 扫描装置的构造

多功能扫描仪的承重部件由 30 × 30 和 40 × 40 毫米型材制成的铝制结构（箱体）组成，总尺寸为 2000 × 900 × 1220 毫米（高 × 宽 × 长）。抗反射的Colormatt箔与 PVC 桌面形成背景，底部铺黑色箔片，MS 成像用白箔作对比背景。装置含四个 50 瓦、光温 2800K 的卤素灯泡可近红外光谱带成像，运动部分由 AR4 机械臂充当传感器支架实现部分自动化。表 1 列有部件清单等信息，设备有图 1 展示相关部件，补充材料含其他图纸。

表1 扫描设备各个组件的概要。

注：1 四舍五入的价格包括增值税，并与 2024 年 6 月 5 日的汇率（1 欧元兑换 24.665 捷克克朗，来源：布拉格 CNB）一致。

图1 插图描述了该装置的实际外观，包括 MS 摄像机（上）和 3D 扫描仪（下）的更多细节。这些传感器安装在机械臂（A）的末端执行器上。此外，符号（B）标记了机械臂的底座。建筑的 CAD 模型显示在右侧。建筑的黑色桌面以透明板的形式显示，以便更全面地观察。

2.2 机械臂

2.2.1. 技术规格

AR4机械臂可自动完成传感器（MS摄像机和3D扫描仪）的移动，它安装在扫描设备工作区高台。选择该机械臂因其经济实惠、易组装、源代码及3D打印组件STL文件免费，且用Python语言易执行日常任务。机械臂自动校准是软件默认功能，每次测量前需校准，程序最后要将其置于安全位置防倒塌。表2列出技术规格，为简化传感器交换，机器人手臂末端安装了Falcam F38快速拆卸系统。

表2 AR4 机械臂的技术参数（取自制造商）。

2.2.2. 运动特性评估

要确定所选机械臂的适用性、可靠性，需开展一系列测试，要通过确定姿势重复性（𝑃𝑅）来表征其运动，𝑃𝑅参数在机械臂末端加载与不加载时测量，负载重800克，约等同传感器设备及适配器总重（详见表3）。评估𝑃𝑅时，按ISO标准9283进行测量，在机械臂安装3D打印塑料适配器，其上有M8螺母用于连接带角反射器的磁床（补充材料有更多信息），用徕卡的激光跟踪仪测量机器人末端执行器位置，精度为±28.8 μm（𝑙𝑝 = 2300 mm）。其定义公式为：

其中，𝑙𝑝指激光跟踪器与机械臂之间的距离。测量姿势重复性时，二者坐标轴无需对齐。若想全面了解姿势重复性测量方法，可参阅补充材料。

通过编程让机器人运动至机械臂工作空间内间距规律的五个不同点（见图2），末端执行器在各点停留5秒。工作空间是机械臂末端执行器常出现的空间，此例中为边长30厘米的假想立方体。先确定机器人底座位置有无变化以验其刚性，进行30个周期测量，末端执行器按图2顺序到达工作空间五点。对位置做姿态重复性（𝑃𝑅）测量，需底座位置变化小，30个周期中在各点测其位置，按ISO 9283标准公式评估有、无800g负载时的𝑃𝑅：

其中𝑛是重复次数，𝑗 是重复索引，𝑆𝑙 是标准差，𝑙 对应于笛卡尔 𝑥𝑦𝑧 坐标系中的 3D 位置。

表3 安装在机械臂末端的所用部件和装置的重量。

图2 选定的工作区点位置（红点标记），包括测量点顺序。

2.3 多光谱图像

2.3.1 相机参数

扫描设备关键部件MS摄像机FS3200D-10GE（日本JAI有限公司）配JVS-C118-0824-C3镜头，可无损研究植物状况。相机含位置不同的两个CMOS传感器，一为RGGB的CMOS用于VIS（RGB - 红、绿、蓝）成像，另一个单色CMOS对近红外敏感且与RGB传感器大小相同。其内部光谱棱镜将宽带辐射分为可见光和近红外两部分，能同时拍摄相应图像。表 4 列出了相机的一般参数，图 3 列出了传感器的灵敏度。每次测量前需提前150分钟启动摄像机与卤素灯稳温，详情见补充材料。

表4 MS 摄像机和镜头技术参数列表（取自制造商）。

图3 MS 摄像机（JAI FS 3200D 10GE）传感器在 RGB 和 NIR 范围内的光谱灵敏度（由制造商提供）。

2.3.2 质谱仪校准程序

为获取摄像系统测量输出图像数据，每次测量前需设计校准程序（见图 4）。该程序初始数据以 RAW 格式采集，参数𝛾 = 1，同时使用 RGB 和近红外传感器数据。先消除相机及电子设备噪声，生成主偏置（𝐼Mbias）和主暗（𝐼Mdark）帧，将相机曝光时间设最低，用机械快门遮光拍摄偏置图像𝐼𝑏𝑖𝑎𝑠 (𝑖, 𝑗, 𝑛𝑏)  ，其中𝑖、𝑗为空间坐标，𝑛𝑏对应偏置图像，𝑁、𝐻 是图像宽高，𝑁𝑏为捕获偏置图像数量且𝑁𝑏≥ 50，主偏置图像的计算公式为：

此外，在将相机曝光时间延长至测量图像数据采集所需值的同时，还可通过关闭机械快门获得一系列暗图像切片𝐼dark ( 𝑖, 𝑗, 𝑛𝑑) 。索引𝑛𝑑 =1，...，𝑁𝑑 对应于总编号为 𝑁𝑑的指定偏置图像，通常 𝑁𝑑≥ 50。主暗影像的计算公式为：

为校正两传感器像素的多种问题及光路畸变，平面校准必不可少，需生成主平面图像（𝐼Mflat）。设置与平场图像暗图像相同的曝光值，移开机械快门捕捉高反射均匀照明场景（如白色测试图），生成多个平场图像𝐼flat（𝑖, 𝑗, 𝑛𝑓 ），其中𝑛𝑓对应平场图像，𝑁𝑓 是其数量，且与偏置帧和暗帧情况类似，𝑁𝑓≥ 50，主平场图像有相应的返回值计算公式，为：

测量的校正 RAW 图像𝐼𝐶𝑟𝑎𝑤由以下公式得出：

其中，𝐼𝑟𝑎𝑤为传感器未校正图像数据，经校准后数据归一化范围是 0-1，异常值按规则处理。校准图像数据后，RGB 彩色图像要做去马赛克和通道均衡处理，去马赛克采用梯度校正线性插值方法处理拜尔模式图像，得到新图像切片𝐼RGB (𝑖, 𝑗, 𝑐)。将单色近红外图像与彩色图像合并可得最终 MS 图像𝐼VNIR（𝑖, 𝑗, 𝑐），且明确了在校准过程中，不同𝑐值对应的各信道情况：𝑐 =1 对应 R 信道，𝑐 =2 对应 G 信道，𝑐 =3 对应 B 信道，𝑐 =4 对应近红外信道。

因相机最敏感通道是红色通道，即便平场校正后，其余通道增益也需调整均衡。采用含 5 个灰度级芯片的测试图 Danes Picta GC5，用 VIS 光谱带反射率 90% 的白色芯片做通道均衡，提取捕获测试图像中白片像素的 R 通道值，以特定系数均衡其余通道，系数向量𝐾依据平均向量𝜇𝑚计算得出：

进而

然后将每个光谱通道乘以向量 𝐾的特定系数，如下所示：

因此，每次测量都会获得场景的反射率校准 MS 图像。

图4 MS图像数据校准过程。

2.3.3 反射率标定和植被指数评估

校准的最后一步是将校准后的相机数字 (DN) 转换为反射率值，运用经验线法（ELM）与灰度校准图 Danes Picta GC5，其含 5 个哑光灰度芯片，在 VIS 光谱带有多样参考。采用 HS 相机（SPECIM PFD4K-65-V10E）获取 VIS 和 NIR 光谱带反射率，因它多用于植物评估应用，被选作参考光谱设备。HS 相机捕获图表生成反射光谱，HS 数据按以下方法预处理及生成归一化反射率：每个 HS 图像都根据黑白图像进行校准，然后通过标准 SavitzkyGolay 滤波器使用三阶多项式和 15 点窗口进行过滤。每个灰度级芯片生成的平均反射率如图 5 所示。表 5 中列出了从每个校准图芯片在这些波长下的 HS 数据获得的归一化反射率汇总。

图5 来自校准图 Danes Picta GC5（右）的每个灰度芯片（左）在 VNIR 光谱带（用波长 𝜆 表示）中的归一化反射率。黑色虚线突出显示 MS 相机在 600 nm 和 770 nm 处最敏感的波段。

表5 校准图 Danes Picta GC5 的各种灰度芯片在波长 600 nm 和 770 nm 处的归一化反射率值。

获得测试图的反射率值后，从测试图的校准 MS 图像数据中提取平均 DN，如下所示

在此情况中，图像里提取像素的水平像素索引为𝑖𝑟 =1, …,𝑊𝑟，垂直像素索引在𝑗𝑟 =1, …, 𝐻𝑟范围。从校准表单独提取各芯片平均芯片DN值，对光谱平均芯片值𝜇𝑐𝑟(𝑐)与归一化HS反射率做线性拟合，再据所选光谱通道图像得出拟合系数，即增益𝑔(𝑐)和偏差𝑏(𝑐)。

将拍摄并预处理的图像转换为反射率值，并应用 ELM 方法：

输出是反射率校准的MS图像数据，记为𝐼Ref（𝑖，𝑗，𝑐），然后可以在植被指数计算方面进一步处理，例如归一化差异植被指数（NDVI），或其他图像处理方法。关于NDVI计算，可以比较反射率校正和未校正的图像。NDVIRef 图像可以根据 NIR 和红色通道反射率校正图像计算得出：

能对NDVI图像作进一步评估与统计评估。为对比，提取HS图像中NDVI指数时，创建并应用像素掩模排除非植物部分，再用对应600nm、770nm通道提取平均光谱来计算NDVIHS，如下：

其中所有切片索引对应于具有特定高度和给定数量的光谱通道的 HS 图像。为了清楚起见，以下部分将在不使用切片索引的情况下描述 NDVI 图像。
 

为表征基于NDVI MS分析的准确性与适用性，可评估MS相机整个视场(FOV)的NDVI指数。虽假设MS相机空间不变，但校准后NDVI指数仍可能变化。为评估FOV的NDVI可做简化测试，假设单个植物物种或代表分布在FOV中，提取NDVIRef−Tot，也可将代表放预定义位置算NDVIRef−Indiv，最后用回归分析对二者值进行统计比较。

2.3.4 坏性方法对MS相机的标定

用标准的破坏性萃取分光光度法校准MS相机，无损方法中以平均植被指数值NDVIRef作度量，从反射率校正图像提取。植物生物质色素含量是关键参数，选黄瓜、番茄、生菜等植物，切取其叶片圆形碎片称重后做MS分析。提取试剂选二甲亚砜，在65℃避光提取3小时，取冷却混合物等分试样放聚苯乙烯板，用分光光度计测波长665、649、480nm处吸光度，再拟合至相关方程：

用于计算叶绿素 A (𝑐𝐶ℎ𝑙A)、叶绿素 B (𝑐𝐶ℎ𝑙B )、类胡萝卜素 (𝑐𝐶𝑎𝑟) 和总色素含量 (𝑐𝑃𝑖𝑔𝑚)，以 mg ⋅ L−1 表示。最后，对单个植物的植被指数 NDVI 和叶绿素含量的统计处理值进行相互分析。上述三种植物物种也被用于本文的其他部分。

2.4 3D扫描

2.4.1 扫描仪参数

机器人设备功能借3D扫描仪POP 3（Revopoint，美国）得以扩展，能获取植物形态更多信息。它含9轴IMU，有陀螺仪等，可确定扫描位置，让图像拼接更平滑，避免因晃动等产生错误捕获图像，表6总结了其参数。

表6 POP 3 3D 扫描仪技术参数（取自制造商）。

2.4.2 扫描和数据评估程序

扫描数据采集、后处理与评估利用RevoScan 5软件。扫描前，用其预定义程序校准3D扫描仪IMU，涉及多方面校准操作。植物放双轴旋转台，旋转等由Python代码、蓝牙4.1控制，设置好旋转速度、手臂位置及保持时间等参数，按每秒15帧捕获500张RAW图像，每株植物做三次扫描，相关常用参数见表7。RevoScan 5对图像对齐、处理形成稀疏点云，经Fusion函数转密集点云，再进行模型网格划分等步骤。但该评估过程有缺点，无法在具增强功能的替代软件中导出、处理保存图像，示意图及补充材料在图6。

表7 在 RevoScan 5 中设置扫描参数。

注：为了消除背景影响，不扫描超过360mm的物体。

图6 稀疏点云处理流程方案。

2.4.3 扫描仪适用范围

本论文此部分意在验证低成本3D扫描仪POP 3的适用性、可靠性与局限性。先是利用边长分别为3.0、3.5、4.0厘米的三种立方体，在Meshlab里分析其网格模型，量化体积、表面积等关键指标，对每个立方体做五次重复扫描，对比真实与数字模型的体积、表面差异，以此量化扫描仪情况。同时，通过比较三种形态及生物量分布差异显著的植物3D模型，评估其可用性。接着把POP 3与台式的Shining 3D EinScan-SP V2（Shining 3D；中国，配EXScan-S软件）、手持式的Shining 3D EinScan Pro 2X 2020（Shining 3D；中国，配EXScanPro软件，精度达0.05毫米）等扫描仪及软件作比较。最后，以黄瓜为模型植物，采用仅标准天花板TL-D 36W/840管灯（菲利普斯，荷兰）以及加四个卤素灯泡照明这两种模式，来确定最佳照明条件与植物年龄。

3、结果

图7 改变无负载（左）和 800 g 负载（右）的机器人基座位置。y 轴代表机器人基础位置的变化，x 轴代表总体测量持续时间。

表8 机器人在工作立方体的五个测量点上有负载和无负载时的姿势重复性。

图8 三种植物物种的线性-RGB（左）和 NDVI（右）植物图像与遮蔽背景的图例对：C. sativus（上图），最大株高 = 7.5 厘米，最大叶长 = 10.2 厘米；S. lycopersium（中图），最大株高 = 14.2 厘米，最大叶长 = 10.1 厘米；L. sativa（下图），最大株高 = 5.4 厘米，最大叶长 = 12.5 厘米。色条仅对应于 NDVI 图像（右图）。

图9 所有三种植物的植被指数 NDVIRef 值与植物生物量中色素总含量 cPigm 之间的关系（左图）以及统计评估的直观图（右图）。

图10 HS 捕获的植物图像数据和 MS 捕获的植物图像数据中提取的平均 NDVI 指数（左）与统计分析结果（右）的比较。利用了三种不同的植物物种。共调查了 34 种植物。HS 和 MS 数据之间的总体关系呈正相关（𝑅2 > 0.994）。

图11 C. sativus 的特定（蓝色边界）植物碎片比较示例：所有植物碎片的 NDVIRef-Tot 图像（左），单独放置的植物碎片的 NDVIRef-Indiv 图像（右）。发现所有碎片的直径为 0.81 ± 0.03 厘米

图12 植物碎片的植被指数的 NDVIRef−Indiv 值与同一植物物种的其他剩余碎片组（单植物模型）中同一碎片的 NDVIRef−Tot 值之间的关系如下： C. sativus（绿色）、S. lycopersium（橙色）和 L. sativa（蓝色）。

图13 三周龄植物物种的说明性蒙版彩色图像（左）和 3D 单色模型（右）：C.sativus（上），最大株高 = 8.2 厘米，最大叶长 = 11.6 厘米；S. lycopersium（中），最大株高 = 13.2 厘米，最大叶长 = 9.2 厘米；L. sativa（下），最大株高 = 6.2 厘米，最大叶长 = 13.8 厘米。

图14 单色 3D 植物模型对比：C. sativus（上图）、S. lycopersium（中图）和 L. sativa（下图），使用两台更昂贵的 3D 扫描仪 Shining 3D EinScan Pro 2X 2020（左图）和 Shining 3D EinScan-SP V2（右图）生成。在这种情况下，使用了与 POP 3 扫描仪相同尺寸的相同植物。

图15 受光照条件、植株年龄和形态、扫描过程和后期处理设置影响的茄子三维模型的特征：A - 两周龄的原始植株（最大株高 = 3.8 厘米，最大叶长 = 6.5 厘米），B - 无纹理的彩色模型，C - 有纹理的彩色模型，D - 无色彩信息的单色模型，E - 使用额外照明的植株单色模型，F - 一周龄的原始植株（最大株高 = 2.1 厘米，最大叶长 = 3.4 厘米），G - 一周龄植株的单色模型。黄色灯泡符号表示辅助卤素灯已启动。

4、结论

本研究提出了一种新颖、经济高效且足够精确的植物表型多功能机器人设备，填补了市场上无障碍机器人表型系统的空白。该装置主要由市场上现成的部件组成，包括一个 AR4 机械臂、一个 VNIR MS 摄像机 FS-3200D-10GE 和一个 3D 扫描仪 POP 3，具有很高的姿态重复性，从而实现了一致的 MS 成像和 3D 扫描测量。该系统的总成本约为 9,600 欧元，在经济性和功能性之间实现了极具竞争力的平衡，使其适用于植物高通量表型以外的一系列应用。介绍了所有设备的校准和评估程序。进行了验证测试，将 VNIR MS 的性能与 HS 相机和破坏性方法的数据进行比较。测试结果证实了 MS 相机在植物 NDVI 分析方面的功效。此外，三维扫描仪生成的模型可与更昂贵的商业替代品相媲美，甚至更胜一筹。该设备具有很大的进一步开发潜力，包括集成更多传感器和改进数据处理算法，以提高植物表型的准确性。总之，该系统为植物表型和相关领域的教育、实验室和研究应用提供了一个多功能且经济的解决方案。

来源

Mach, Jiří et al. “Development of low-cost multifunctional robotic apparatus for high-throughput plant phenotyping.” Smart Agricultural Technology (2024): n. pag

编辑

小安