学术中心

全部分类
您现在的位置:
首页
/
/
/
草莓三维形状感知与分割

草莓三维形状感知与分割

  • 分类:植物表型资讯
  • 作者:PhenoTrait
  • 来源:本站
  • 发布时间:2021-12-04 06:10
  • 访问量:

【概要描述】在本文中,评估了现代传感技术,包括立体相机和时间飞行(time-of-flight,ToF)相机在农业中的三维形状感知,并研究了它们在基于形状从背景中分割水果的可用性。这两款相机分别是英特尔RealSense D435红外立体传感器和飞行时间Pico Zense DCAM710,使用不同方法感知的4个不同数据集的点云形状比较,如图1。

草莓三维形状感知与分割

【概要描述】在本文中,评估了现代传感技术,包括立体相机和时间飞行(time-of-flight,ToF)相机在农业中的三维形状感知,并研究了它们在基于形状从背景中分割水果的可用性。这两款相机分别是英特尔RealSense D435红外立体传感器和飞行时间Pico Zense DCAM710,使用不同方法感知的4个不同数据集的点云形状比较,如图1。

  • 分类:植物表型资讯
  • 作者:PhenoTrait
  • 来源:本站
  • 发布时间:2021-12-04 06:10
  • 访问量:
详情

  农业自动化被视为该行业面临的社会经济挑战的可行解决方案。这种技术通常依靠智能感知系统提供有关作物、植物和整个环境的信息。传统2D视觉系统面临的挑战可以通过现代3D视觉系统来解决,这些系统能够直接定位物体、大小和形状估计,或处理遮挡。到目前为止,3D传感的应用主要局限于室内或结构化环境。

 

  在本文中,评估了现代传感技术,包括立体相机和时间飞行(time-of-flight,ToF)相机在农业中的三维形状感知,并研究了它们在基于形状从背景中分割水果的可用性。这两款相机分别是英特尔RealSense D435红外立体传感器和飞行时间Pico Zense DCAM710,使用不同方法感知的4个不同数据集的点云形状比较,如图1。

 

  图1 比较不同的水果/植物和传感技术,它们的点云和RGB图像,以及形状和表面分析的正常变化率。(A)富士苹果数据集,(B)西兰花数据集,(C)草莓立体相机,(D)草莓ToF。

 

  提出了一种新的3D深度神经网络,网络结构如图2,它利用了来自基于相机的3D传感器的信息的组织性。

 

  图2 CNN3D体系结构用于语义分割。箭头表示编码器和解码器之间的跳过层连接。

 

  为了充分评估当前三维传感技术和所提出的分割方法的局限性,提出引入一个真实的模拟环境,该环境具有与真实设备相似的特征和参数,但允许控制深度传感质量。模拟的固有部分是一个现实的环境,如图3和图4。真实农场如图5。

 

  图3 在Unity引擎中实现桌面草莓农场的逼真模拟。

 

  图4 通过模拟传感器看到的草莓场侧视图,包括彩色图像(a)、深度图像(b)、曲率图(c)和地面真实注释(d)。

 

  图5草莓农场,一个机器人在桌子上收集数据(左图)。用于数据采集的传感器设置(右)。

 

  与最先进的3D网络相比,显示该架构的优越性能和效率,如表1,具体输出如图6。图7展示了每个传感器的放大示例。出现了相同的错误特征,立体相机数据缺乏形状和增加假阴性,ToF创建噪声区域增加假阳性,噪声添加到模拟数据,模糊草莓周围的区域,产生不精确的物体轮廓。

 

  表1 与2D和3D网络相比,提出的CNN3D架构的性能。

 

  图6 CNN3D对来自立体(上行)、ToF(中行)和模拟数据(下行)的数据进行训练后的分割结果。颜色分别为TP(绿色)、FP(橙色)、FN(紫色)、TN(灰色)和no data(黑色)。左栏是一个下面的视图,而右边是一个侧视图(除了模拟,两者都是侧视图)

 

  图7 CNN3D对来自立体(左)、ToF(中)和模拟数据(右)的数据进行训练,在特别困难的情况下,分割结果的精细细节。颜色分别为TP(绿色)、FP(橙色)、FN(紫色)、TN(灰色)和no data(黑色)。

 

  这项工作的结果将鼓励研究人员和公司开发更精确、更强大的3D传感技术,以确保它们在实际农业应用中得到更广泛的应用。

 

  来源:Le Louëdec J, Cielniak G: 3D shape sensing and deep learning-based segmentation of strawberries. Computers and Electronics in Agriculture 2021, 190:106374.

 

  编辑:王春颖

关键词:

扫二维码用手机看

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!
石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!
本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。
查看详情
本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。
慧科研、慧育种、慧种田——慧聚改变的力量
慧科研、慧育种、慧种田——慧聚改变的力量
让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。
查看详情
让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。
高通量植物表型平台建设注意事项
高通量植物表型平台建设注意事项
发布时间 : 2022-05-20 11:45:57
育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。
查看详情
育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。
作物生理表型测量基础原理
作物生理表型测量基础原理
发布时间 : 2022-05-13 10:56:43
生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。
查看详情
生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。

视频展示

透过表型数据看见植物的喜怒哀乐
00:59:21
所属分类:
视频展示
发布时间:
2022/11/13
关键词:

专题报道

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。
搜索
确认
取消

联系我们

慧诺瑞德(北京)科技有限公司

地址:北京市海淀区西三旗街道建材城中路12号院8号楼2门 
电话:010-62925490829288548292886482928874
传真:010-62925490-802
Email:
info@phenotrait.com

邮编:100096

在线留言

关注我们

这是描述信息

植物表型圈

这是描述信息

植物表型资讯

慧诺瑞德(北京)科技有限公司版权所有      京ICP备15043840号    网站建设:中企动力   北二分     法律声明