学术中心
CropCraft:用于作物三维重建的逆向程序建模
发布时间:
2025-01-25
来源:
作者:
从图像中自动构建植物的三维数字孪生的能力在农业、环境科学、机器人技术等领域具有广泛的应用。然而,由于存在严重遮挡和复杂几何形态,现有的三维重建方法无法恢复植物的完整形状。在本研究中,我们提出了一种基于逆向程序建模优化植物形态参数模型的新型农业作物三维重建方法。该方法首先通过拟合神经辐射场来估计深度图,然后采用贝叶斯优化来估计植物形态参数,从而实现一致的深度渲染。最终生成的三维模型完整且符合生物学原理。我们在农业领域真实图像数据集上验证了该方法,并展示了该重建结果可以应用于多种监测和仿真应用。
图1 农作物的逆向程序建模。我们提出了一种基于逆向程序建模的农作物三维重建新方法。与标准的多视角重建流程不同,所提出的方法输出一个完整、可解释且生物学上合理的作物冠层三维网格模型,适用于模拟诸如光合作用等重要生物物理过程。
图2 所提出方法的概述。旨在估计程序生成模型的参数,以生成与观察到的图像相匹配的形状。首先,我们使用标准的运动结构恢复(SfM)和神经辐射场(NeRF)技术来重建场景的可见几何形状。然后,我们应用RANSAC算法获取与作物种植行对齐的相机姿态。该姿态用于从NeRF和程序模型渲染深度图。我们基于深度图的直方图统计定义损失函数,并通过贝叶斯优化方法最小化该损失函数,以优化形态参数。
图3 程序化植物形态模型。采用现有的大豆形态和玉米形态的程序生成模型。此(风格化)插图展示了我们允许优化的参数,用于建模每个物种个体实例之间的形态变化。
图4 定性重建结果(大豆)。在真实农业田地的图像上验证了方法的重建质量。从左至右:多视角数据的示例图像、行对齐的NeRF渲染深度、程序模型深度、程序化网格的渲染可视化。通过将预测深度的统计数据与观测深度进行匹配,我们的方法能够估计出描述植物在生长季节中生长所需的关键形态参数,并始终如一地生成逼真的重建结果。
图5定性重建结果(玉米)。展示了该方法同样可以应用于玉米的建模,除了大豆之外。 从左至右:无人机捕获的多视角数据示例图像、行对齐的NeRF渲染深度、程序模型深度、程序化网格的渲染可视化。尽管存在严重遮挡,最终生成的重建结果依然完整且符合解剖学原理。
图6 光合作用模拟结果。使用 Helios对通过我们方法重建的大豆冠层进行光合作用模拟。左列展示了作物冠层在一天内的净光合作用速率时间序列。其他列则显示了网格可视化,每个叶片面根据该面上的光合作用速率着色(较亮表示较高的速率)。结果展示了利用我们的重建流程监测作物生产力的潜力。
Zhai A J, Wang X, Li K, et al. CropCraft: Inverse Procedural Modeling for 3D Reconstruction of Crop Plants[J]. arXiv preprint arXiv:2411.09693, 2024.
https://doi.org/10.48550/arXiv.2411.09693
编辑
王永贤
推荐新闻
视频展示