CountMamba:探索多方向选择性状态空间模型用于植物计数


发布时间:

2024-11-12

来源:

作者:

植物计数在农业的各个阶段中至关重要,包括种子育种、发芽、栽培、施肥、授粉、产量估计和收获。受到人类通过逐步扫描高分辨率图像来计数物体的启发,我们探索了利用状态空间模型(SSMs)处理植物计数任务的潜力,以生成计数结果。本文提出了一种新的计数方法,称为CountMamba,构建多个计数专家,从多个方向同时进行扫描。具体而言,我们设计了一个多方向状态空间组,以多种顺序处理图像块序列,旨在模拟不同的计数专家。我们还设计了全局-局部自适应融合,以样本为基础自适应聚合从多个方向提取的全局特征和从CNN分支提取的局部特征。大量实验表明,所提出的CountMamba在包括玉米穗、麦穗和高粱穗计数在内的多种植物计数任务中表现出色。

 

图1. 所提出的CountMamba概述。它包含一个由多个堆叠的水平状态空间块(HSSBs)、垂直状态空间块(VSSBs)、对角状态空间块(DSSBs)和反对角状态空间块(ASSBs)并行组成的多方向状态空间组(MSSG),随后是全局-局部自适应融合、计数器和归一化器,以实现植物计数。

 

图2. HSSM、VSSM、DSSM、ASSM 和 CNN 分支结构的示意图。

 

图3 在 MTC、WED 和 SHC 数据集上的定性结果。Manual 表示真实值,Inferred 表示预测计数。红点为手动标注。

 

来 源

He H, Zhang Y, Xu J, et al. CountMamba: Exploring Multi-directional Selective State-Space Models for Plant Counting[J]. arXiv preprint arXiv:2410.07528, 2024.

https://doi.org/10.48550/arXiv.2410.07528

 

编辑

小王博士在努力

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。