基于无人机图像的准确的颜色表示，对于高通量植物表型和精确农业监测作物健康和识别营养缺乏或水分胁迫至关重要。然而，由于无人机操作中不同的照明条件和飞行高度，实现色彩准确性具有挑战性。为了克服这些挑战，提出了一种自动两阶段方法用于无人机图像的一致颜色校准，将传统的颜色校准方法与前沿的深度学习算法相结合。在第一阶段，推导了放置在成像区域内的四个色板的颜色校准矩阵(matrix，M)。这涉及将无人机图像中观察到的颜色值映射到它们的真实颜色值，如使用多元线性回归(multivariate linear regression，MLR)使用色度计测量的那样。然后将来自每个板的单个矩阵合并为单个加权平均矩阵，然后将其应用于无人机图像进行颜色校正，从而产生标准化的颜色输出。在第二阶段，开发了一个深度学习模型，将MLR校正后的图像作为基础真理进行训练。该模型为图像场景中的不同像素分配不同的权重，使用图像到图像的回归将图像从扭曲转换为颜色校正后的图像，而无需人工干预。使用184张不同尺寸的无人机图像验证了这种方法，这些图像的像素范围从3969 × 2589到15257 × 15098，在各种光照条件和高度下拍摄。结果表明，深度学习模型显著优于现有的方法，边际颜色误差为1.52%。这种两阶段色彩校正方法大大提高了操作效率，消除了每张图像中物理色板的必要性，并允许在训练后进行自动化处理。

图1  德克萨斯州拉伯克县和林恩县的试验田(A，用绿色圆圈标出)。无人机图像是从林恩县的两个领域(B为领域1,C为领域2)和拉伯克县的一个领域(D)获取的。(E)显示了用于无人机图像的颜色校准板的插图。

图2  无人机图像双阶段颜色校准原理图。

图3  所提出的图像到图像回归网络的结构。

图4  不同地面真值生成方法的颜色误差比较:有和没有偏差项的加权平均校准矩阵(4 × 3和3 × 3)与有和没有偏差项的单一校准矩阵(4 × 3和3 × 3)。

图5  不同无人机飞行高度的RGB颜色值校正前(左)和校正后(右)的对比。

图6 在使用提出的方法进行颜色校正之前(A)和之后(B)的三个日期中，一天中不同时间捕获的图像的RGB颜色值的比较。该数据显示了三个特定日期:2023年8月30日、9月12日和10月9日。

图7  使用im2im深度学习回归颜色校正之前(A)和之后(B)在一天中不同时间采集的图像的颜色误差。该数据显示了三个特定日期:2023年8月30日、9月12日和10月9日。

图8  不同无人机飞行高度的颜色误差，从早上到晚上进行单独的飞行任务。左图为色彩校正前的颜色误差，右图为色彩校正后的颜色误差，每条线对应三天内一天中的特定时间。

图9  不同飞行高度的颜色校准视觉评估。

图10  采用不同学习和池化方法的图像到图像回归模型的性能评价。使用残差学习(即有残差和无残差)和不同池化方法(即标准池化和小波池化)的模型之间的比较，说明了对训练收敛性，结构细节保留和整体颜色校准精度的影响。

图11  左图:im2im回归CNN模型在不同训练场景下的视觉对比，突出跨场颜色校准。右:定量分析比较微调和交叉场验证模型之间的颜色误差。