学术中心
Segment Any Leaf 3D: 基于多视角图像的零样本3D叶片实例分割
发布时间:
2025-04-26
来源:
作者:
探索植物表型与遗传信息之间的关系需要先进的表型分析技术来实现精确表征。然而,植物形态学的多样性和可变性对现有方法提出了挑战,这些方法通常无法跨物种进行推广,并且需要大量的注释数据,尤其是对于3D 数据集。本文提出了一种使用 RGB 传感器的零样本 3D 叶子实例分割方法。它通过多视图策略将 2D 分割模型 SAM(Segment Anything Model)扩展到 3D。使用从多个视点捕获的 RGB 图像序列通过多视图立体重建 3D植物点云。HQ-SAM(High-Quality Segment Anything Model) 以 2D 形式分割叶子,并将分割映射到 3D 点云。基于置信度得分的增量融合方法将来自不同视图的结果聚合到最终输出中。在自定义花生幼苗数据集上进行评估,该方法在两个 IoU 阈值下实现了超过 0.9 的点级精度、召回率和 F1 分数,以及对象级 mIoU 和精度超过 0.75。结果表明,该方法实现了最先进的分割质量,同时提供了零样本能力和泛化性,在植物表型分析中显示出巨大的潜力。
图1 方法概述。输入图像序列经过多视图立体(MVS)重建,该重建基于特征点匹配算法,以对齐来自多个视点的图像并重建 3D 点云。然后应用基于 HQ-SAM 的图像分割从每个图像中提取实例分割。2D 分组信息通过查询过程映射到 3D 空间,结果以增量方式合并以生成最终实例分段
图2 点云去噪过程:(a)使用 COLMAP 重建的原始点云;(b)体素下采样后的点云;(c)使用 RANSAC 安装转盘并调整坐标系;(d)直通过滤后的点云;(e)颜色转换后的点云;(f)统计过滤后的点云
图3 掩码筛选过程。(a):原始 RGB 图像;(b):HQ-SAM 生成的自动掩码;(c):饱和滤波后的掩模;(d):去除重叠后的掩码;(e):形状过滤后的蒙版。所有样本都使用相同的参数。(b)在 GeForce RTX 3090 GPU(NVIDIA,美国加利福尼亚州圣克拉拉)上的平均过程为 7.95 秒,而在Intel(R) Xeon(R) Silver 4210 CPU(Intel,美国加利福尼亚州圣克拉拉)上,(c-e)过程平均为 1.15 秒、6.19 秒和 2.50 秒
图4 不同视图的插图。(a):不同视点与像素平面之间的角度关系。A 和 B 是两个不同的摄像机视点。绿色表示该视点更适合此位置的表面,而红色表示该视点较差;(b):视点因子的计算函数
图5 合并冲突组的图示
图6 叶实例分割的可视化。样本1的点云质量较低,并且存在许多孔洞。样本11的点云质量更高
图7 三种方法之间的定性实例分割比较。为了与 PlantNet 和 PSegNet 的可视化保持一致,我们的方法的结果被下采样为大约 4096 个点的相似点云大小,并包括了 stemareas
图8 叶实例分割数量分析:(a)与真实值相比,使用芽的实例计数进行分析;(b)分析无芽的实例计数与基本实况的比较。气泡图中每个气泡的大小表示样本大小,红色虚线表示参考拟合线y = x
图9 DTU 数据集上的实例分段可视化
图10 指标和点云数量的变化以及合并的数量
Wang Y, Zhang Z. Segment Any Leaf 3D: A Zero-Shot 3D Leaf Instance Segmentation Method Based on Multi-View Images. Sensors. 2025, 25(2): 526.
编辑
ZXT
推荐新闻
视频展示