学术中心
基于深度学习的果品三维图像分割方法
发布时间:
2021-01-13
来源:
本站
作者:
PhenoTrait
果实紧密、成熟度、数量和大小等是影响蓝莓产量和收获的重要表型性状,可用于监测蓝莓发育和改善作物管理。本研究旨在建立一个完整的蓝莓簇三维分割框架,提取蓝莓簇特征。

四个蓝莓品种的样品
为了实现这一目标,本文开发了一个图像采集系统来采集蓝莓图像进行三维重建,并提出一个基于二维-三维投影的摄影测量管道提取蓝莓簇特征。根据摄影测量,对四个南部高灌木蓝莓品种(“翡翠”,“ Farthing”,“ Meadowlark”和“ Star”)进行重建,每个品种有10个簇样本。创建包围三维蓝莓簇的最小边界框,以浆果体积与最小边界框体积之比来计算果实紧密度。利用Mask R-CNN从二维图像中分割出具有成熟度特性的蓝莓个体,并将实例Mask投影到三维点云上建立二维-三维对应关系。利用所开发的性状提取算法对蓝莓个体进行分割,得到蓝莓果实数、果实体积和成熟度。成熟度是用成熟浆果(蓝色果实)数与组成簇的总浆果(蓝色、红色和绿色果实)数的比值来计算的。结果得到,确定簇中果实数目的准确度为97.3%,簇成熟度线性回归的R2为0.908,RMSE为0.068。对这四个品种性状的统计分析表明,4月中旬,“翡翠”和“Farthing”比“Meadowlark”和“Star”紧密度更高,而“Farthing”的成熟浆果体积大于“Meadowlark”和“ Star”,“Star”最小。

蓝莓簇信息的图像采集系统

基于maskr-CNN的2D蓝莓实例分割
综上所述,这项研究开发了一种基于3D摄影测量和2D实例分割的有效方法,该方法可以从大量样本中准确确定蓝莓的群集特征,可以用于水果发育监控,产量估算和收获时间预测。

三大特征结果
来源:
Ni X, Li C, Jiang H, et al. Three-dimensional photogrammetry with deep learning instance segmentation to extract berry fruit harvestability traits. ISPRS Journal of Photogrammetry and Remote Sensing. https://doi.org/10.1016/j.isprsjprs.2020.11.010.
推荐新闻
视频展示