RT-DETR-Tea:非结构化环境下的多物种茶芽检测模型


发布时间:

2025-02-17

来源:

作者:

准确的芽检测是自动茶叶采摘和产量统计的前提;然而,由于复杂背景下的单一性和错误检测的多样性,目前的研究存在漏检。传统的目标检测模型主要基于 CNN,但 CNN 只能实现局部特征信息的提取,这对于复杂环境下目标的准确识别缺乏优势,而 Transformer 可以很好地解决这个问题。因此,基于多品种茶芽数据集,本研究提出了实时检测 Transformer (RT-DETR) 框架下的改进目标检测模型 RT-DETR-Tea。该模型使用级联组注意力取代了基于注意力的尺度内特征交互 (attention-based intra-scale feature interaction,AIFI) 模块中的多头自注意力 (multihead self-attention,MHSA) 机制,有效地优化了深度特征并丰富了特征的语义信息。改进原有的跨尺度特征融合模块(cross-scale feature-fusion module,CCFM)机制,建立多层次特征融合的聚集分布式茶(GD-Tea)机制,能够有效融合自然环境中的低层次和高级语义信息以及大小茶芽特征。采用 UniRepLKNet 中 DilatedReparamBlock 的子模块对 RepC3 进行改进,实现茶芽特征信息的高效融合,保证检测头的准确性。消融实验表明,所提出的 RT-DETR-Tea 模型的精密率和均值平均精密率分别为 96.1% 和 79.7%,与原始模型相比分别提高了 5.2% 和 2.4%,表明了该模型的有效性。该模型在新构建的茶芽数据集上也显示出良好的检测性能。与其他检测算法相比,改进的 RT-DETR-Tea 模型表现出卓越的茶芽检测性能,为智慧茶园管理和生产提供了有效的技术支持。

 

图1  茶树芽图像。(a) 多种茶芽的示意图。(b) 不同自然环境下茶芽的示意图。

 

图2  RT-DETR结构图。

 

图3  RT-DETR-Tea 结构图

 

图4  级联组注意力模块架构。

 

图5  低GD模块结构图。

 

图6  高GD模块结构图。

 

图7  Inject模块结构图。

 

图8  展开的ReparamBlock模块结构图。

 

图9  Grad-CAM和检测结果。

 

图10  不同模型的检测效果。

 

图11  RT-DETR-Tea检测结果。

 

图12 不同茶芽大小的检测结果比较。

 

图13  不同光强检测结果的比较。

 

来 源

Chen, Y.; Guo, Y.; Li, J.; Zhou, B.; Chen, J.; Zhang, M.; Cui, Y.; Tang, J. RT-DETR-Tea: A Multi-Species Tea Bud Detection Model for Unstructured Environments. Agriculture 2024, 14, 2256.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。