基于智能手机异质双目视觉和YOLOv5s的现代果园单株苹果树表型分析


发布时间:

2023-05-09

来源:

植物表型资讯

作者:

PhenoTrait

表型分析在苹果树育种中起着重要的作用。然而,现有的研究主要依赖于仪器,如LiDAR、RGB-D相机或嵌入深度传感器的无人机(UAV)等,这对用户来说需要额外的成本,也不便利。为此,本研究开发了一种基于智能手机的异质双目视觉技术,实现低成本的苹果树表型自动化分析。

 

本研究选择多摄像头智能手机上的一对摄像头,获得异质双目摄像头。通过开发一种虚拟焦点方法,从智能手机的异质双目图像中生成标准双目图像。在四类数据集上训练了著名的用于检测果实、嫁接、树干和整棵树的YOLOv5s目标检测模型。然后,对模型进行简化以适应智能手机的部署。最后,利用针孔相机模型和标准双目视觉,获得单株苹果树的5种表型(树干直径、地面直径、树高、果实垂向直径和水平直径)。在人工和智能手机评估表型后,显示五种表型的平均百分比误差范围为6.00%至13.73%。与现有研究相比,我们的方法仅在智能手机上就达到了接近甚至更好的表型准确性。随着越来越多的智能手机拥有多摄像头,我们的方法可能是大多数潜在用户成本最低的表型分析方法。

 

图1 两个苹果园的种植布局。(a)海生现代苹果园,摄于2022年6月24日(多云,东北风);(b)凉山现代苹果园,摄于2022年8月09日(阴天小雨,东风)。

 

图2 Realme GT neo2捕获的同一棵苹果树的异质双目图像。(a)用超广角相机拍摄的图像;(b)主照相机拍摄的图像。

 

图3 苹果树表型的标记和定义

 

图4 不同倾斜度的树干标签(图片中的绿色矩形)。(a)垂直主干;(b)倾斜主干。

 

表1 YOLOv5s的训练参数

 

图5 Realme GT neo2对同一场景下不同光照的异质双目图像。(a)主相机拍摄的图像;(b)超广角相机拍摄的图像,颜色较暗。

 

图6 针孔相机模型

 

图7 Realme GT neo2主摄像头与超广角摄像头的视场比较

 

表2 三款智能手机的硬件参数和VFSF

 

图8 智能手机异质双目摄像头拍摄的图像(以Realme GT neo2为例)和裁剪后的缩放超宽图像。(a)智能手机主摄像头拍摄的图像;(b)智能手机超广角摄像头拍摄的图像;(c)裁剪后的缩放超宽图像,其视场和分辨率与主摄像头拍摄的图像相同。

 

图9 一个简化的针孔相机模型

 

图10 倾角的定义

 

图11 (a) YOLOv5s的损耗曲线;(b) YOLOv5s的mAP曲线

 

图12 YOLOv5s NCNN模型下各类别的P-R曲线

 

表3 5种表型的MAPE、MAE和RMSE

 

图13 表型偏差的几何表征

 

表4 其他苹果树表型研究结果

 

图14 多相机模组制造误差可能导致异质双目法偏差的两例分析。(a)其中一个相机偏转造成的光轴不平行;(b)其中一台摄像机旋转造成的旋转畸变。

 

 

来 源

Zhao G, Yang R, Jing X, et al. Phenotyping of individual apple tree in modern orchard with novel smartphone-based heterogeneous binocular vision and YOLOv5s[J]. Computers and Electronics in Agriculture, 2023, 209: 107814.

 

编辑

陈秋
 
 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。