Cherry picker:樱桃树的语义骨架化和拓扑重建


发布时间:

2023-05-11

来源:

植物表型资讯

作者:

PhenoTrait

在植物表型中,从树的三维点云中准确提取性状仍然是一个悬而未决的问题。为了对树的花、果等器官进行自动建模和特征提取,需要树的语义分割点云和树骨架。因此,提出了CherryPicker,它可以重建树木的光计量点云,进行语义分割,并以骨架的形式提取它们的拓扑结构。并结合了几种最先进的算法,使自动处理能够进一步用于3d植物表型分析。在CherryPicker中,提出了一种自动估计单目重建的尺度因子的方法,以克服尺度模糊并获得度量正确的点云。

此外,本文提出了一种基于拉普拉斯收缩的语义骨架算法。结果还表明,通过对不同的树器官进行语义加权,所提出的方法可以有效地去除遮挡和结构大小变化引起的伪影。CherryPicker获得具有精确细节的高质量的樱桃树拓扑重建。

 

图1 左侧重构点云Cb的可视化。它由CherryPicker从一组图像I中处理,在空间上对齐,去噪,并分割成主干和分支两个类。右边是提出的基于语义拉普拉斯收缩算法提取的骨架。

 

图2 CherryPicker的系统流程。该流程分为六个不同的工作模块重构器、点云恢复器、比例因子估计器、点云分割器和语义骨架处理器。从一组图像I中重建一个密集的点云,然后对齐,去噪,缩放,并分割成不同的树器官。利用从分割中获得的信息,可以在基于拉普拉斯的骨架化算法中添加语义权重。

 

图片

图3 来自验证数据集的分段点云Cs的可视化。预测类别包括地面、树干、树枝、标志、标记、校准单元和屋顶。需要注意的是,支持栏在主干类中被注释,并在之后被分离。

 

图4 基于拉普拉斯的收缩(Laplacian-based contraction,LBC)和基于语义拉普拉斯的收缩(semantic Laplacian-based contraction,S-LBC)算法之间的比较显示了一个真实世界的例子,在原始重建中有遮挡区域。很明显,S-LBC比LBC具有更合理的树干骨架。然而,SLBC在分支的连接处表现出过度平滑。

 

图5 为了可视化基于语义拉普拉斯收缩(S-LBC)相对于标准拉普拉斯收缩(LBC)的优势,展示了不同的案例。对于落叶松,为LBC选择了平衡收缩力WL和吸引力WH。这是对细枝粗干的良好重建的一种妥协。尽管如此,LBC仍在努力正确重建躯干底部。S-LBC为分支实现了相同的结果,但处理了主干的工件。在松树示例中,增加了收缩权重,减少了位置权重,以处理LBC中的树干工件。可以看出,LBC消除了主干伪效应,但在分支处引入了过度平滑。对于S-LBC,骨架受益于不同的权重,没有伪影。在最后一个在冷杉上执行的例子中,WH的LBC权重增加,WL的LBC权重降低。在分支上,拓扑结果与地面事实相似,但主干受到不正确的主干骨架的影响。另一方面,S-LBC保存分支的详细信息,并适当地收缩中继。

 

图6 对噪声和遮挡树点云数据的框架算法LBC和S-LBC的可视化。在孔洞区域,基于拉普拉斯的收缩(LBC)显示出圆形伪影。对于不同的树类型,选择相似的收缩权值WL和吸引权值WH。在落叶松例子的顶部行,可以看到LBC显示底部树干的椭圆误差。绿色区域显示LBC为曲线骨架,S-LBC为直线骨架,这是由于额外的主干加权。在松树的例子中,可以看到LBC在树干中显示了错误的骨架,此外还出现了缺失的链接。S-LBC能够抵消这些伪影。最后,在Fir示例中,孔为LBC生成不同的工件。由于语义加权,S-LBC能够通过强制更强的收缩来克服这些伪现象。

 

 
来 源

Meyer, Lukas & Gilson, Andreas & Scholz, Oliver & Stamminger, Marc. (2023). CherryPicker: Semantic Skeletonization and Topological Reconstruction of Cherry Trees. https://arxiv.org/abs/2304.04708

 

编辑

王春颖
 

扩展阅读

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。