基于快速神经距离场的多视点核桃壳几何参数提取三维重建方法


发布时间:

2024-08-08

来源:

作者:

核桃壳几何参数可为核桃采后加工体系设计和种质质量分析提供重要信息。与传统的二维图像相比,三维模型保留了更多关于核桃壳形状特征的信息。本文提出了一种基于神经距离场的核桃壳三维重建方法,用于从多视角图像序列中生成精确的尺度彩色网格并提取几何参数。设计了一种低成本的双相机图像采集平台,用于创建多视图图像数据集。其次,采用隐式神经距离场(Implicit Neural Distance Field,INDF)建立核桃壳的三维表示,生成高保真的彩色网格;然后,从生成的网格中提取几何参数;利用该方法对3个不同品种的180个核桃壳表面进行了试验,结果表明该方法对核桃壳表面的估计接近无偏,平均顶点倒角距离在0.6 mm以下。在几何参数提取方面,该方法对壳长、壳宽、壳厚和壳体积的预测准确率分别为1.455%、0.992%、0.998%和1.825%。在保持较高重建精度的同时,该方法在7分钟内完成了重建,超过了目前流行的纯视觉方法的速度。所提出的方法还利用了无需任何额外深度传感器的部署优势,因此可以很容易地转移到其他水果的表型。

 

图1  核桃样品的处理流程。(CV:OpenCV图像处理,SPnP:解决PnP算法,SAM:基于任何模型的分割)。

 

图2  研究中使用的核桃。(a)新疆核桃(XJ), (b)山东核桃(SD), (c)云南核桃(YN)。

 

图3  定义核桃的长度、宽度和厚度。

 

图4  数据采集系统。(a)正视图,(b)侧视图,(c)校准板的图样。

 

图5  Apriltag标签检测、角点提取和姿态估计原理图。重新投影的坐标轴正好出现在校准板的中心。

 

图6 标签提取和背景去除过程。(a) 1号相机拍摄的未失真图像;(b)初始颜色阈值分割;(c)分段提示生成;(d)最终分割结果。

 

图7  神经距离场生成的INDF网络结构。(HE:哈希编码,FC:完全连接,FV:特征向量,SE:球面谐波编码)。

 

图8  本研究中INDF训练过程流程图。

 

图9  标准40毫米乒乓球彩色网格生成示意图。(a) SDF场,(b) Marching cube算法提取的网格,(c) INDF着色的网格。

 

图10  修改配准算法。(a)原配准算法对样本#4的配准结果错误。(b) 147号核桃样品上AABB相同尺寸的可能姿势。

 

图11  数据采集结果。(a)相机1的核桃多视图图像和分割结果;(b) 2号相机的核桃多视图图像及分割结果;(c)由校正模式推断出的相机姿势。

 

图12  整个训练过程中的训练损失、验证损失和超参数s曲线。

 

图13  核桃壳重建结果。

 

图14  测量和预测几何参数的散点图。

 

来 源

Huang, T., Bian, Y., Niu, Z., Taha, M.F., He, Y., & Qiu, Z. (2024). Fast neural distance field-based three-dimensional reconstruction method for geometrical parameter extraction of walnut shell from multiview images. Computers and Electronics in Agriculture. 109189.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。