叶片分割作为基于图像的植物表型分析的重要前提任务，近年来已经获得了越来越多的关注。虽然自监督学习正在成为各种计算机视觉任务的有效替代方案，但它对基于图像的植物表型的适应性仍有待探索。

　　本文首先给出一个大麻数据集，成像设置如图1，摄像机直接安装在花盆上方，在整个生长周期中，每小时采集一次顶视图图像。

　　图1大麻数据集的图像采集设置。

　　在本工作中，提出了一个自监督的叶片分割框架，如图2，包括一个自监督的语义分割模型，一个基于颜色的叶片分割算法，以及一个自监督的颜色校正模型。自监督语义分割模型通过迭代引用自包含信息对语义相似的像素进行分组，使同一语义对象的像素被基于颜色的叶子分割算法联合考虑，从而识别出叶子区域。此外，提出对在复杂照明条件下拍摄的图像使用自监督色彩校正模型。

　　图2 提出的自监督叶分割框架概述。该算法主要由三个部分组成:自监督颜色校正、自监督语义分割和基于颜色的叶片分割。训练和测试阶段的数据流分别用红色虚线和红色实线表示。图像输入首先通过训练的颜色校正模型来校正图像中潜在的“非自然”颜色。然后将颜色校正后的图像输入到自监督语义分割模型中，对语义相似的对象进行像素分组，将其与基于颜色的叶子分割模型共同考虑，从而识别出绿叶对象。

　　在本工作中，提出了一个自监督的叶片分割框架，如图2，包括一个自监督的语义分割模型，一个基于颜色的叶片分割算法，以及一个自监督的颜色校正模型。自监督语义分割模型通过迭代引用自包含信息对语义相似的像素进行分组，使同一语义对象的像素被基于颜色的叶子分割算法联合考虑，从而识别出叶子区域。此外，提出对在复杂照明条件下拍摄的图像使用自监督色彩校正模型。

　　大麻数据集和LSC数据集在不同光照条件下的样本图像如图3所示。不同植物物种数据集的实验结果(图4和图5)表明，所提出的自监督框架在实现有效和可推广的叶片分割方面具有潜力。

　　图3 “自然”，“黄色”和“紫色”植物图像的例子在给出的大麻数据集和CVPPP LSC数据集。

　　图4 叶子分割结果示例。在大麻数据集上DC*和UPG*的结果。展示了分别在“A2”和“A4”子集上微调模型获得的可视化结果，这两个子集提供了最高可实现的FBD(%)度量。颜色编码:绿色:检测到的叶片区域(真阳性); 红色:检测到的非叶区(假阳性);蓝色:误检叶区(假阴性)。

　　图5 示例叶子分割结果的“黄色”和“紫色”图像。颜色编码:绿色:检测到的叶片区域(真阳性);红色:检测到的非叶区(假阳性);蓝色:误检叶区(假阴性)

　　尽管该方法在不同光照条件下的叶区分割具有一定的有效性，且在不同植物物种间具有一定的通用性，但仍有一定的改进空间。在提出的自监督语义分割模型中，像素级的标签分配以迭代的方式进行更新和细化，这可能需要数百次迭代才能获得合理的结果。虽然这满足了我们植物生长监测项目的要求，但我们将通过使用启发式早期停止准则和使用预先训练的权值初始化像素级嵌入学习网络来寻求提高我们方法的效率。鉴于我们的自监督语义分割的良好结果，未来工作的另一个有趣的研究方向是通过弥合语义分割和实例分割之间的差距来探索自监督实例级叶分割的可能性。

　　来源：Lin Xufeng, Li Chang-Tsun, et al. Self-Supervised Leaf Segmentation under Complex Lighting Conditions. (2022). https://doi.org/10.48550/arxiv.2203.15943

　　编辑：王春颖