基于CNN和双向扇区搜索的百香果枝干检测与重建


发布时间:

2023-10-04

来源:

本站

作者:

PhenoTrait

准确的检测和重建分支有助于收获机器人的准确性和植物表型信息的提取。然而,复杂的果园背景和藤蔓果树扭曲生长的树枝使这一设计具有挑战性。为了解决这些问题,本研究采用基于Mask区域的卷积神经网络(Mask Region-based convolutional neural network,Mask R-CNN)架构,结合可变形卷积对复杂背景下的分支进行分割。基于生长姿态,提出了一种双向扇区搜索的分支重建算法,对改进模型得到的分段分支进行自适应重建。改进的Mask R-CNN模型用于百香果的枝检测的平均准确率、平均召回率和F1分数分别为64.30%、76.51%和69.88%,在测试数据集上的平均运行时间为0.75 s /张,优于对比模型。我们从测试数据集中随机选择40张图像来评估分支重建。分支重建精度为88.83%,平均误差为1.98px,重建直径平均相对误差为7.98 px,平均相交-过连率(Mean intersection-overunion ratio,mIOU)为83.44%。单幅图像的平均重建时间为0.38 s。这将使该方法能够在复杂果园背景下检测和重建植物树枝。

 

图1 百香果枝重建方法综述

 

图2 图像采集和标注:(a)摄像机位置和角度,(b)采集图像示例,(c)分叉(上)和分段(下)分支的标签。

 

图3 Mask R-CNN结构图

 

图4 3×3可变形卷积的结构

 

图5 采样过程的比较:(a) RGB图像,(b)普通卷积的采样过程,(c)可变形卷积的采样过程。

 

图6  简化分支段:(a)最小边界矩形处理后的分支段,(b)简化分叉分支,(c)简化分段分支,(d)满足重构算法最小交过并比的临界情况。

 

图7 初始重构流程图:(a)确定搜索区域;(b)分支段的搜索过程。

 

图8 具有相同分叉点的多个分支。

 

图9 对偏转角度的约束。

 

图10 分支检测与分割结果

 

图11 改进了Mask R-CNN在三种光照条件下的检测效果。

 

图12 不同环境条件(光照、背景复杂程度等)下的支路重建结果。

 

图13 不同图像上的重建精度。

 

图14 三种方法在百香果树上的树枝重建效果。(a)地基真值分支,(b) Yang等[19]方法重构结果,(c) Wan等[20]方法重构结果,(d)模型重构结果。

 

图15 树枝直径的测量值和估计值之间的偏差分布。

 
来 源

Jiangchuan Bao Guo Li Haolan Mo Tingting Qian Ming Chen Shenglian Lu. . Detection and Reconstruction of Passion Fruit Branches via CNN and Bidirectional Sector Search. Plant Phenomics. 2023:5;0088. DOI:10.34133/plantphenomics.0088

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。