航空图像有潜力推进农业田间试验的高通量表型，这种潜力目前受到识别感兴趣像素(pixels of interest，POI)和小区分割困难的限制。我们开发了一个Python包GRID (GReenfield Image Decoder，图1)来克服这个限制。

　　图1 GRID的工作流程。GRID以一个图像(a)和一个可选的字段布局文本文件(b)作为输入数据。用户既可以使用原始图像，也可以使用裁剪后的图像(c)。图像按像素分类(d)，可以选择感兴趣的聚类来定义感兴趣像素(POI) (e)。所选聚类的POI显示为黄色，所有非POI显示为黑色。通过去除阴影(f)和噪声(g)，可以对POI进行微调。小区中心 (h)和边界 (i)将被自动创建并分别显示为红叉和方框。GRID输出包括文本文件(j)和对应于(d,e,i)的图像。GRID不仅处理矩形的网格图案，还处理其他图案，如 菱形(k)。

　　使用像素K-means聚类分析，用户可以指定聚类的数量，并选择代表POI的聚类。通过POI分布自动识别小区。POI的局部最优值被初始化为绘图中心，如图2，也可以手动修改这些中心以进行删除、添加或重新定位。小区中心周围的POI分割由自动化的智能代理初始化，以定义小区边界。一个小区智能代理(plot intelligent agent)基于小区大小和POI分布与邻近的代理进行谈判，如图3，协商可以通过在小区大小或POI密度上增加权重来细化。

　　图2 通过图像旋转自动检测小区布局。输入的图像有一个排列成菱形的布局(a)。POI图像的旋转以15度的间隔展示(b)。垂直扫描信号f(x)是POI图像的位置x处的平均值，其中x是POI图像的水平位置(c)。频域通过傅里叶变换计算，其中f(ξ)为f(x)上的信号频率(d)。f(ξ)被用来确定现场图像的最佳旋转。当正确的旋转与傅里叶变换相匹配时，相对于其他旋转，频域包含一个具有高POI密度的单峰。这个例子表明，有效的旋转(45°和90°)具有重复的垂直POI密度模式，当进行傅里叶变换时，会产生一个可以确定最佳旋转的频域。两个最佳旋转中显示的红星代表(c)中的绘图中心点和频域(d)的单峰。

　　图3相邻小区之间的边界谈判。两个小区之间的谈判从它们的中心点开始，方向可以是列或行(a，左)。最终的边界(a，右)是由议价条的移动决定的。如果议价条比它的对手有更大的权力，那么它就会远离它的中心。议价条的权利是由其感兴趣的像素(POI，条上的红色区域)占总像素(条上的红色+蓝色)的比例来定义的，并由一个惩罚来调整。惩罚是一个议价条到其小区中心的距离(小写红色d)除以两个小区中心的距离(大写红色D)，再乘以一个权重(默认为0.2)。右边的小区比左边的小区有更多的力量，并首先到达其左边的边缘(b)。当左图和右图没有POI与它们的议价条相交时，两个条都向前移动(c)。在左边的小区找到其分离的POI后，它获得了力量并移动到右边的边缘(d)。在谈判的过程结束时，两个小区的POI都用完了，条形图同时移动以完成连接并形成边界(e)

　　在各种小区布局上测试了GRID(图4)，包括直行和直列、人字形、菱形和人字形布局的多行。多个中间图像记录了GRID进行图像分析的主要过程。这些过程包括像素级聚类分析、POI类别选择、小区中心定位和小区分割(图4和图5)。这些图像的分辨率通常比GRID界面上的显示要高得多。这些中间图像可以与原始图像进行比较，用于评估分析是否进行得当。例如，用户可以验证是否有任何集群被遗漏为POI或任何集群被错误地归类为POI。原始图像上的中心和边界为评估分割的准确性提供了一个方便的方法。

　　图4 对具有不同小区布局模式和分辨率的图像进行分割。这些模式包括紫花苜蓿的垂直布局(a)，小麦的人字形布局(b)，樱桃树果园的菱形(c)，以及豌豆小区内的多行(d)。紫花苜蓿和豌豆田的无人机图像由周唐和Samuel Revolinski提供。另外两张是谷歌卫星图像，分别是华盛顿州立大学Spillman农艺农场的小麦(46°41′50.8″N 117°07′29.1″W)和华盛顿州Grandview的樱桃树(46.230664, 119.904291)。左边显示的是原始图像，右边示的是提取的感兴趣的像素，并有红框定义的图。

　　图5 分割过程中的图像。GRID保存了多个中间图像，用于记录、诊断和进一步的图像分析。这些中间图像展示了像素级的聚类分析(a)，选定的感兴趣的像素上的小区中心(b)，和原始图像(c)。选定的感兴趣的像素(d)和原始图像(e)上都显示了小区的边界。感兴趣的像素显示在原始图像上，非感兴趣的像素显示为白色背景(f)，每个分割图也被保存为HDF5的numpy数组。原始图像是由无人机在图4的苜蓿地里拍摄的。

　　所有的调整都在一个图形用户界面中操作，实时预览结果，用户可以根据自己的领域知识来细化细分结果。最终的结果以文本和图像文件的形式保存。文本文件包括小区行和列、小区大小和总小区POI。图像文件包括集群、POI和分段图的显示。在计算速度方面，GRID可以在一分钟内处理大于1g的数据和100多个测试图。计算时间与文件大小和plot编号成线性关系，如图6使用GRID，用户完全从手工绘制小区线或多边形的劳动密集型任务中解放出来。

　　图6对文件大小和图的数量的线性计算复杂性。总的运行时间(秒)分为加载图像(a)、搜索小区中心(b)和定义边界(c)的时间(s)。图像加载时间与图像大小呈线性关系。搜索小区中心和通过相邻小区之间的讨价还价来定义边界的运行时间与小区的数量成线性关系。 

　　GRID的监督自动化有望提高农业田间试验的效率，成为提取田间小区特征的有效工具，可直接用于农业研究中的高通量表型分析和进一步分析。

   来源：Chen CJ, Zhang Z. GRID: A Python Package for Field Plot Phenotyping Using Aerial Images. Remote Sensing. 2020; 12(11):1697. https://doi.org/10.3390/rs12111697

　  编辑：王春颖