利用t分布随机邻居嵌入法对三维植物点云进行可视化和分割


发布时间:

2023-03-12

来源:

植物表型资讯

作者:

PhenoTrait

在这项工作中,建议使用t分布随机邻居嵌入法(t-distributed stochastic neighbor embedding,t-SNE)将三维植物点云嵌入到二维空间中进行植物表征。研究表明,t-SNE是一种实用的工具,可以在二维空间中平坦和可视化一个完整的三维植物模型。t-SNE的perplexity参数允许在不同组织级别上对植物结构进行2D渲染。除了作为植物科学家的可视化工具外,t-SNE还提供了一种网关,可以使用嵌入的2D植物点云来处理3D植物点云。本文通过对嵌入的二维点进行分组,提出了一种简单的语义分割和实例分割方法。在公共3D植物数据集上对这些方法的评估传达了t-SNE在实现自动3D表型管道中涉及的各种步骤的2D实现方面的潜力。

 

图1 第一行:烟草植物模型的t-SNE嵌入,来自于数据集[32],具有不同的Perplexity值。第二行:t-SNE嵌入,其中数据通过二维欧几里得聚类进行聚类,每个聚类以不同的颜色呈现。第三行:同样的3D点云,根据二维嵌入得到的聚类进行着色。

 

图2 第一行:烟草植物模型的t-SNE嵌入从数据集为三个不同的分辨率和两个Perplexity值。第二行:t-SNE嵌入,其中数据通过二维欧几里得聚类进行聚类,每个聚类以不同的颜色呈现。第三行:同样的3D点云,根据二维嵌入得到的聚类进行着色。

   

图3 各种植物点云的t-SNE嵌入。D数据通过欧氏聚类进行聚类。每个簇都以不同的颜色呈现。根据二维嵌入得到的聚类对D点云进行着色。

 

图4 从通过t-SNE嵌入的2D点中提取超点的过程。

 

图5 在番茄植株生长的不同时间实例对应的三个点云上进行语义和实例分割的可视化示例。(a)地面真相实例标签,(b)从t-SNE嵌入的2D点集中提取超点,(c)超点映射到3D并传播到高分辨率云,(d)语义分割结果,(e) t-SNE嵌入的聚类应用于分类为“叶子”的点,(f)叶子实例分割结果。

 
 
来 源
Helin Dutagaci. Using t-distributed stochastic neighbor embedding for visualization and segmentation of 3D point clouds of plants, https://doi.org/10.48550/arXiv.2302.03442.
 

编辑

王春颖
 
扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。