学术中心

全部分类
您现在的位置:
首页
/
/
/
草莓三维形状感知与分割

草莓三维形状感知与分割

  • 分类:植物表型资讯
  • 作者:PhenoTrait
  • 来源:本站
  • 发布时间:2021-12-04 06:10
  • 访问量:

【概要描述】在本文中,评估了现代传感技术,包括立体相机和时间飞行(time-of-flight,ToF)相机在农业中的三维形状感知,并研究了它们在基于形状从背景中分割水果的可用性。这两款相机分别是英特尔RealSense D435红外立体传感器和飞行时间Pico Zense DCAM710,使用不同方法感知的4个不同数据集的点云形状比较,如图1。

草莓三维形状感知与分割

【概要描述】在本文中,评估了现代传感技术,包括立体相机和时间飞行(time-of-flight,ToF)相机在农业中的三维形状感知,并研究了它们在基于形状从背景中分割水果的可用性。这两款相机分别是英特尔RealSense D435红外立体传感器和飞行时间Pico Zense DCAM710,使用不同方法感知的4个不同数据集的点云形状比较,如图1。

  • 分类:植物表型资讯
  • 作者:PhenoTrait
  • 来源:本站
  • 发布时间:2021-12-04 06:10
  • 访问量:
详情

  农业自动化被视为该行业面临的社会经济挑战的可行解决方案。这种技术通常依靠智能感知系统提供有关作物、植物和整个环境的信息。传统2D视觉系统面临的挑战可以通过现代3D视觉系统来解决,这些系统能够直接定位物体、大小和形状估计,或处理遮挡。到目前为止,3D传感的应用主要局限于室内或结构化环境。

 

  在本文中,评估了现代传感技术,包括立体相机和时间飞行(time-of-flight,ToF)相机在农业中的三维形状感知,并研究了它们在基于形状从背景中分割水果的可用性。这两款相机分别是英特尔RealSense D435红外立体传感器和飞行时间Pico Zense DCAM710,使用不同方法感知的4个不同数据集的点云形状比较,如图1。

 

  图1 比较不同的水果/植物和传感技术,它们的点云和RGB图像,以及形状和表面分析的正常变化率。(A)富士苹果数据集,(B)西兰花数据集,(C)草莓立体相机,(D)草莓ToF。

 

  提出了一种新的3D深度神经网络,网络结构如图2,它利用了来自基于相机的3D传感器的信息的组织性。

 

  图2 CNN3D体系结构用于语义分割。箭头表示编码器和解码器之间的跳过层连接。

 

  为了充分评估当前三维传感技术和所提出的分割方法的局限性,提出引入一个真实的模拟环境,该环境具有与真实设备相似的特征和参数,但允许控制深度传感质量。模拟的固有部分是一个现实的环境,如图3和图4。真实农场如图5。

 

  图3 在Unity引擎中实现桌面草莓农场的逼真模拟。

 

  图4 通过模拟传感器看到的草莓场侧视图,包括彩色图像(a)、深度图像(b)、曲率图(c)和地面真实注释(d)。

 

  图5草莓农场,一个机器人在桌子上收集数据(左图)。用于数据采集的传感器设置(右)。

 

  与最先进的3D网络相比,显示该架构的优越性能和效率,如表1,具体输出如图6。图7展示了每个传感器的放大示例。出现了相同的错误特征,立体相机数据缺乏形状和增加假阴性,ToF创建噪声区域增加假阳性,噪声添加到模拟数据,模糊草莓周围的区域,产生不精确的物体轮廓。

 

  表1 与2D和3D网络相比,提出的CNN3D架构的性能。

 

  图6 CNN3D对来自立体(上行)、ToF(中行)和模拟数据(下行)的数据进行训练后的分割结果。颜色分别为TP(绿色)、FP(橙色)、FN(紫色)、TN(灰色)和no data(黑色)。左栏是一个下面的视图,而右边是一个侧视图(除了模拟,两者都是侧视图)

 

  图7 CNN3D对来自立体(左)、ToF(中)和模拟数据(右)的数据进行训练,在特别困难的情况下,分割结果的精细细节。颜色分别为TP(绿色)、FP(橙色)、FN(紫色)、TN(灰色)和no data(黑色)。

 

  这项工作的结果将鼓励研究人员和公司开发更精确、更强大的3D传感技术,以确保它们在实际农业应用中得到更广泛的应用。

 

  来源:Le Louëdec J, Cielniak G: 3D shape sensing and deep learning-based segmentation of strawberries. Computers and Electronics in Agriculture 2021, 190:106374.

 

  编辑:王春颖

关键词:

扫二维码用手机看

推荐新闻

致即将毕业的你
致即将毕业的你
发布时间 : 2021-04-20 15:29:43
如果您有意向,不要彷徨不要犹豫,赶快将您的简历发到邮箱hr@phenotrait.com吧。
查看详情
如果您有意向,不要彷徨不要犹豫,赶快将您的简历发到邮箱hr@phenotrait.com吧。
我司荣登2020国际未来农业食品百强榜生物农业TOP20
我司荣登2020国际未来农业食品百强榜生物农业TOP20
慧诺瑞德荣登2020国际未来农业食品百强榜生物农业TOP20
查看详情
慧诺瑞德荣登2020国际未来农业食品百强榜生物农业TOP20
慧诺表型实验室推出测试服务
慧诺表型实验室推出测试服务
发布时间 : 2020-08-26 11:38:26
提供植物表型、光合作用等相关的数据测试和分析服务
查看详情
提供植物表型、光合作用等相关的数据测试和分析服务
提高光合效率促进植物生长
提高光合效率促进植物生长
发布时间 : 2020-07-10 00:00:00
我们可能培育出阳光利用率至少为1.5%的植物,而不是目前的0.5%,这是一个巨大的进步。
查看详情
我们可能培育出阳光利用率至少为1.5%的植物,而不是目前的0.5%,这是一个巨大的进步。

视频展示

植物表型架起从数字农业到智慧农业的桥梁
00:30:11
所属分类:
视频展示
发布时间:
2020/12/10
关键词:

专题报道

搜索
确认
取消

联系我们

慧诺瑞德(北京)科技有限公司

地址:北京市海淀区西三旗街道建材城中路12号院8号楼2门 
电话:010-62925490829288548292886482928874
传真:010-62925490-802
Email:
info@phenotrait.com

邮编:100096

在线留言

关注我们

这是描述信息

植物表型圈

这是描述信息

植物表型资讯

慧诺瑞德(北京)科技有限公司版权所有      京ICP备15043840号    网站建设:中企动力   北二分     法律声明