利用二维图像轮廓进行幼苗的多视角三维重建


发布时间:

2024-07-14

来源:

作者:

幼苗的三维重建可以提供全面和定量的空间结构信息,为育种研究提供有效的数字化工具。然而,由于幼苗的茎干尺寸较小和多视角点云配准中不可避免的误差,准确高效地重建幼苗仍然是一项具有挑战性的工作。因此,本文提出了一种利用二维图像轮廓约束三维点云的精确多视角幼苗三维重建方法。通过最小化二维图像轮廓与三维点云投影外部点之间的点到轮廓距离来校准和优化旋转轴。然后,为了去除离群点和噪声,我们引入了二维图像的幼苗掩模,约束并删除对应视图中三维模型的投影离群点。此外,我们提出了一种残差引导方法来识别三维模型的缺失区域,并完整地重建小尺寸茎干的三维模型。最终,我们可以获得精确的幼苗三维模型。重建精度通过所有视图的三维模型投影轮廓与二维图像轮廓之间的平均距离(0.3185毫米)进行评估。然后,从三维模型计算出表型参数,结果与手动测量接近(植物高度:R² = 0.98,RMSE = 2.3毫米,rRMSE = 1.52%;叶柄倾斜角:R² = 0.99,RMSE = 0.73°,rRMSE = 1.41%;叶面积:R² = 0.66,RMSE = 1.05平方厘米,rRMSE = 7.63%;叶片倾斜角:R² = 0.99,RMSE = 1.01°,rRMSE = 1.72%;茎直径:R² = 0.95,RMSE = 0.12毫米,rRMSE = 5.43%)。育种者可以从表型的动态分析入手,选育出更能适应不同生长条件的栽培品种。

 

图1 研究区域位置。

 

图2 我们提出的幼苗三维重建算法工作流程。

 

图3 旋转轴校准的示意图 (a) 序列图像获取, (b) 提取不同视角的关键点, (c) 旋转轴调整。

 

图4 使用Rodrigues旋转公式 (a) 将点云投影到x-y平面上, (b) 将x-y平面上的投影转换回3D空间。

 

图5 旋转轴优化的示意图。蓝色框:旋转和转换矩阵,将视图v的相机坐标系统转换为世界坐标系统RT。绿色框:从世界坐标系统投影点云模型到视图v的图像坐标系统。黄色框:通过最小化二维图像轮廓与从三维点云投影出的外部点之间的距离来优化。

 

图6 基于投影轮廓一致性约束的点云滤波算法的示意图:(a) 待去噪的点云,(b) (1) 通过遍历多视角掩模图对点云应用基于约束的去噪,(2) (3) 使用单视图掩模图对点云进行基于约束的去噪示意,(c) 去噪后的3D点云。

 

图7 噪声源的示意图:(a) 蓝色虚线表示前景对象的边缘,黄色虚线表示这些边缘在背景对象表面上的投影。由于激光束的固有发散角度,蓝色和黄色虚线定义的平面上观察到了大量噪声。(b) 红色离群点源自激光雷达系统固有的测量误差,分布在测量对象表面之外,非常接近表面。

 

图8 基于投影轮廓一致性约束的小尺寸茎干点云补全算法的示意图 (a) 待修复的幼苗原始3D模型,(b) 从幼苗掩模中提取中间骨架,(c) 在待修复区域进行最小二乘线性拟合的点云,(d) 基于(c)中拟合的直线填充圆柱形点云,(e) 基于我们的滤波算法对填充后的点云进行分割,(f) 完成的幼苗3D模型。

 

图9 手动测量的示意图。

 

图10 基于旋转轴拼接多视角标定板角点的示意图。

 

图11 拍摄的RGB图像和分割掩膜结果。分别为生长了30-45天的辣椒、秋葵和茄子植株。

 

图12 幼苗3D模型的结果:(a) 幼苗彩色图像,(b) 去噪前的3D模型,(c) 去噪后的幼苗模型,虚线框内显示了缺失的茎点,(d) 补全后的完整3D模型,(e) 3D模型的投影轮廓和幼苗掩模的2D轮廓。

 

图13 使用Hausdorff距离的热图:(a) 校准的旋转轴,(b) ICP算法,(c) 我们提出的优化校准结果。

 

图14 手动测量的地面真实值与从3D模型计算得出的结果的比较,蓝色线表示1:1线。

 

来 源

Chen Q, Huang S, Liu S, et al. Multi-view 3D reconstruction of seedling using 2D image contour[J]. Biosystems Engineering, 2024, 243: 130-147.

https://doi.org/10.1016/j.biosystemseng.2024.05.011

 

编辑

小王博士在努力

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。