基于弱光敏感度和强空间感知的多模态图像生菜结构表型提取


发布时间:

2025-06-04

来源:

作者:

准确测量结构表型,如植物高度和冠层宽度,对于人工照明植物工厂(Plant Factories with Artificial Lighting, PFALs)生菜种植的科学管理至关重要。在这项研究中,开发一个多模态图像融合模型,使用可见光图像 (RGB)、深度图像 (Depth,depth images)和红外图像(IR,infrared images)来提取PFAL环境中的生菜表型。提出了一种残差空间信息增强模块(Residual Space information enhancement module,DRS)和一种具有IR特征自适应权重优化的融合特征补充方法(IRC),以解决传统基于RGB的模型空间感知较弱和照明干扰导致 RGB 特征丢失的问题。选取3个生菜品种(Bixiao、Huqian、Mondai)作为实验对象,以评估所提出的模型的稳健性。在消融实验中,DRS 改进的基准模型在 MAP0.75和 MAP0.5:0.95方面分别提高了1.6%和0.9%。IRC 改进的基准模型在 MAP0.5、MAP0.75 和 MAP0.5:0.95 方面分别提高了 0.2%、0.6% 和 1.2%。此外,当两个模块组合时,MAP0.5、MAP0.75 和 MAP0.5:0.95 值分别增加了 0.3%、3.3% 和 2.3%。与人工测量的株高和冠层宽度相比,3个品种的平均株高预测结果的均方根误差(Root Mean Square Error,RMSE)为0.74,均方误差(Mean Squared Error,MSE)为0.55。对于冠层宽度,模型预测结果的 RMSE 为 0.70,MSE 为 0.49。在照明影响实验中,此方法在多个数据集的 MAP0.5、MAP0.75 和 MAP0.5:0.95 方面比未改进的模型高出约 0.3-4%。提出的模型有效地解决了照明干扰问题,增强了基线模型在不同光照条件下的鲁棒性,提高了空间感知能力,促进了模型特征提取阶段相邻植物特征的分离,增强了模型的检测能力,并最终提高了表型提取能力。

 

  图1  生菜三个品种:(a) Mondai; (b) Bixiao; (c) Huqian。

 

 图2  不同的图像格式:(a) RGB; (b) IR; (c) Depth。

 

 图3  基于改进RT-DETR的三分支网络结构。

 

 图4  密集种植区图像:黄色方框为正确检测;红框是不正确的检测。

 

 图5  DRS网络架构和运行模式。

 

 图6  光干扰下的图像条件(a) RGB (b) IR。

 

 图7  IRC网络结构和操作。

 

 图8  同模型对Bixiao,Huqian, 和 Mondai的预测结果,从左至右。(a-c)是本文的预测结果;(d-f)是Faster RCNN预测结果;(g-i)是YOLOv5预测结果;(j-l)是YOLOv8预测结果;(m-o)是PPYOLOE预测结果。

 

 图9  比较基础模型和改进模型在计算生菜株高和地面真实值上的差异。(a-b)代表Bixiao;(cd)代表Huqian;(e-f)代表Mondai,其中蓝色代表基本预测结果,橙色代表本文的预测结果。

 

 图10  比较基础模型和改进模型在计算生菜冠层宽度和地面真实度方面的差异。(a-b)代表Bixiao;(cd)代表Huqian;(e-f)代表Mondai,其中蓝色代表基本预测结果,橙色代表本文的预测结果。

 

 图11 三个品种的株高与冠宽之比在生长过程中不断变化。

 

 图12 生菜不同生长阶段的图像:(a)苗期;(b)早期生长阶段;(c)中期生长阶段;(d)成熟阶段。

 

 图13 本文提出的模型的预测结果与人工测量结果之间的比较:(a)植物高度的比较;(b)树冠宽度的比较;(c)植物高度与树冠宽度之比的比较。

 
来 源

Shenglian Lu, Yibo Lv, Tingting Qian, Wenyi Ren, Xiaoming Li, Yiyang Li, Guo Li. (2025) Lettuce architectural phenotypes extraction from multimodal images by low-light sensitivity and strong spatial perception. Computers and Electronics in Agriculture, 232, 109928.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。