学术中心
基于数字表亲的园艺苗木生长表型检测
发布时间:
2025-01-19
来源:
作者:
作物表型检测是智能农业时代了解和预测园艺苗木生长状况的一种精准手段,有助于提高农业生产成本和能效。它架起了植物雕像和农业设备之间的桥梁,比如智能温室生态系统中的机器人和自动驾驶汽车,让它们相互了解。然而,由于叶片之间的动态覆盖和相机采样的时空限制,成像数据集的收集是表型检测深度学习的瓶颈。为了解决这一问题,利用植物的数字表亲和虚拟实体,并考虑在模拟环境中创建动态3D结构、属性和RGB图像数据集,并遵循物理世界中的变化和相互作用原则,本工作提出了一种获得园艺幼苗生长表型的两阶段方法。在第一阶段,选择三维高斯溅射(3D Gaussian Splatting)来重建和渲染植物的三维模型,使其能够捕获RGB图像,并超越时空限制检测幼苗的表型。第二阶段,建立改进的YOLOv8模型,对幼苗进行分割和测量,并在原有的YOLOv8模型上增加LADH、SPPELAN和Focaler-ECIOU模块进行修改。此外,以西瓜种子为例进行了研究,结果表明,三维高斯溅射在幼苗三维重建中具有良好的性能,训练模型的峰值信噪比(peak signal-to-noise ratio,PSNR)一般在24以上。在语义分割方面,与原来的YOLOv8相比,改进的模型计算量减少了7.50%,收敛速度提高了31.35%。
图1 总体流程图。(a)生成幼苗数字表亲模型的真实数据集;(b)构建虚拟环境,模拟幼苗数字表亲和生成虚拟数据集;(c)将实-虚混合数据集输入到改进的YOLOv8模型中,生成表型检测图像。
图2 使用COLMAP将幼苗图像转换为稀疏的3D点云。
图3 利用三维高斯溅射对COLMAP生成的稀疏三维点云进行渲染,获得高质量的幼苗模型。
图4 改进的YOLOv8网络结构中的LADH结构。
图5 改进的YOLOv8网络结构中的SPPELAN结构。
图6 数据集在不同光照条件下的演示。(a)强光条件下模型的代表图;(b)中等光照条件下模型的代表性图;(c)紫光条件下模型的代表图。
图7 新的视角图像从3 d高斯溅射呈现,D1强光。
图8 新的视角图像从3 d高斯溅射呈现,D2中等光照。
图9 新的视角图像从3 d高斯溅射呈现,D3紫光。
图10 三维高斯溅射的可视化瀑布图和三种照明场景下的Instant-NGP重建模型参数。
(a)强光下训练了7000次、30000次的Instant NGP、三维高斯溅射的对比;(b)中等光照下训练了7000次、30000次的Instant NGP、3D高斯溅射的对比;(c)紫光下训练7000次和30000次的Instant NGP、3D高斯溅射的对比。
图11 模型表面三维高斯溅射与Instant-NGP的比较。
图12 有缺陷的3D建模。(a)在中等光照下拍摄随机性导致模型缺失;(b)强光下拍摄随机性导致模型缺失;(c)在紫光下拍摄的随机性导致模型缺失。
图13 实际检测结果对比图。(a) YOLOv8测试结果曲线图;(b)试验结果曲线图。
Song, Y.; Yang, L.; Li, S.; Yang, X.; Ma, C.; Huang, Y.; Hussain, A. Improved YOLOv8 Model for Phenotype Detection of Horticultural Seedling Growth Based on Digital Cousin. Preprints 2024, 2024111896.
编辑
王春颖
推荐新闻
视频展示