CropCraft:用于作物三维重建的逆向程序建模


发布时间:

2025-01-25

来源:

作者:

从图像中自动构建植物的三维数字孪生的能力在农业、环境科学、机器人技术等领域具有广泛的应用。然而,由于存在严重遮挡和复杂几何形态,现有的三维重建方法无法恢复植物的完整形状。在本研究中,我们提出了一种基于逆向程序建模优化植物形态参数模型的新型农业作物三维重建方法。该方法首先通过拟合神经辐射场来估计深度图,然后采用贝叶斯优化来估计植物形态参数,从而实现一致的深度渲染。最终生成的三维模型完整且符合生物学原理。我们在农业领域真实图像数据集上验证了该方法,并展示了该重建结果可以应用于多种监测和仿真应用。

 

图1 农作物的逆向程序建模。我们提出了一种基于逆向程序建模的农作物三维重建新方法。与标准的多视角重建流程不同,所提出的方法输出一个完整、可解释且生物学上合理的作物冠层三维网格模型,适用于模拟诸如光合作用等重要生物物理过程。

 

图2 所提出方法的概述。旨在估计程序生成模型的参数,以生成与观察到的图像相匹配的形状。首先,我们使用标准的运动结构恢复(SfM)和神经辐射场(NeRF)技术来重建场景的可见几何形状。然后,我们应用RANSAC算法获取与作物种植行对齐的相机姿态。该姿态用于从NeRF和程序模型渲染深度图。我们基于深度图的直方图统计定义损失函数,并通过贝叶斯优化方法最小化该损失函数,以优化形态参数。

 

图3 程序化植物形态模型。采用现有的大豆形态和玉米形态的程序生成模型。此(风格化)插图展示了我们允许优化的参数,用于建模每个物种个体实例之间的形态变化。

 

图4 定性重建结果(大豆)。在真实农业田地的图像上验证了方法的重建质量。从左至右:多视角数据的示例图像、行对齐的NeRF渲染深度、程序模型深度、程序化网格的渲染可视化。通过将预测深度的统计数据与观测深度进行匹配,我们的方法能够估计出描述植物在生长季节中生长所需的关键形态参数,并始终如一地生成逼真的重建结果。

 

图5定性重建结果(玉米)。展示了该方法同样可以应用于玉米的建模,除了大豆之外。 从左至右:无人机捕获的多视角数据示例图像、行对齐的NeRF渲染深度、程序模型深度、程序化网格的渲染可视化。尽管存在严重遮挡,最终生成的重建结果依然完整且符合解剖学原理。

 

图6 光合作用模拟结果。使用 Helios对通过我们方法重建的大豆冠层进行光合作用模拟。左列展示了作物冠层在一天内的净光合作用速率时间序列。其他列则显示了网格可视化,每个叶片面根据该面上的光合作用速率着色(较亮表示较高的速率)。结果展示了利用我们的重建流程监测作物生产力的潜力。

 

来 源

Zhai A J, Wang X, Li K, et al. CropCraft: Inverse Procedural Modeling for 3D Reconstruction of Crop Plants[J]. arXiv preprint arXiv:2411.09693, 2024.

https://doi.org/10.48550/arXiv.2411.09693

 

编辑

王永贤

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。