学术中心
Eff-3DPSeg:使用高效注释点云的三维器官级植物芽分割
发布时间:
2023-01-18
来源:
植物表型资讯
作者:
PhenoTrait
实验结果(图8-11)表明,弱监督网络与全监督网络具有相似的分割性能。该方法对茎叶的Precision、Recall、F1-score和mIoU的分割准确率分别为95.1%、96.6%、95.8%和92.2%,对AP、AP@25和AP@50的叶片实例分割准确率分别为53%、62.8%和70.3%。该研究为植物三维结构的表征提供了一种有效的方法,将有助于植物育种家加强选择过程。
图1 提出的Eff-3DSeg框架的整体工作流程。(A)利用Multi-view Stereo Pheno平台重构植物点云,利用基于meshlab的plant Annotator对点云进行标注。(B)提出的弱监督植物器官分割网络用于植物茎叶分割和叶实例分割。(C) 利用植物器官分割的结果提取三种植物表型茎粗、叶宽和叶长等性状。
图2 2022年5月6日至27日拍摄的大豆点云。
图3 (A)生大豆点云及标注结果。(B)茎叶注释和(C)叶实例注释。
图4 所提出的弱监督植物器官分割框架。(A)使用视点瓶颈(Viewpoint Bottleneck)损失函数,用自监督表示学习方法预训练骨干网。(B)利用弱注释点云对预训练的植物茎叶分割模型和叶片实例分割模型进行了修改和微调。
图5 自我监督预训练方法的说明:视点瓶颈。X为三维坐标和颜色拼接表示的植物点云(M×6, M为点数)。经过两次随机几何变换,我们得到了它的两个增广Xp和Xq。将它们输入到共享的稀疏ConvUnet fθ中,得到两个高维表示集Zp和Zq (M× D, D为表示维数)。应用了最远点采样,以得到下采样表示ZP'和Zq' (H×D), H是下采样表示的点号。最后,对ZP'和Zq'之间的互相关矩阵施加视点瓶颈,记为Z。
图6 稀疏ConvUnet(Sparse ConvUnet)体系结构
图7 植物器官分割示意图。首先,将一个植物点云X(坐标:M×3,颜色:M×3)输入稀疏ConvUnet,以提取点未来F (M×K)。M是点的个数,K是未来点的维度。第二(茎叶分割):茎叶分支用F生成茎叶语义评分(M×n),其中n为类数。一个点的预测茎叶标签S (M×1)是得分最高的类(Argmax)。第三(Leaf实例分割):偏移模块产生偏移向量O (M×3)。然后,采用聚类方法在原始坐标坐标和移位坐标上将点分组为叶簇,分别生成Cc和Cs。最后,我们将Cc和Cs的并集表示为最终的聚类结果C。
图8 不同监督设置下大豆茎叶分割的定性可视化。所展示的样本选取覆盖不同生长发育阶段的个体。在不同的行中显示了茎叶分割的真实值和不同监督设置的结果。
图9 不同监督设置下番茄茎叶分割的定性可视化。
图10 弱监督大豆叶片实例分割的定性可视化。
图11 弱监督番茄叶片实例分割的定性可视化。
来 源
Luo, L., Jiang, X., Yang, Y., Samy, E.R., Lefsrud, M.G., Hoyos-Villegas, V., & Sun, S. (2022). Eff-3DPSeg: 3D organ-level plant shoot segmentation using annotation-efficient point clouds.
编 辑
王春颖
扩展阅读
推荐新闻
视频展示