在全球范围内，对作物产量的评估是很差的。在这里，我们提供了一种基于深度学习的方法来估计使用RGB图像的水稻产量。在成熟期和收获期，从0.8到0.9米的距离，在水稻冠层上垂直向下采集了超过22,000张数字图像，并在相应区域获得了0.1到16.1吨/公顷的水稻产量。收获时应用于这些数据的卷积神经网络（CNN）预测了水稻产量70%的变化，相对均方根误差（rRMSE）为0.22。在成熟阶段获得的图像也可用于预测最终的水稻产量。我们的工作表明，这种低成本、动手能力强和快速的方法可以提供一个突破性的解决方案，以评估提高生产力的干预措施的影响，并确定需要这些干预措施的领域，以可持续地提高作物产量。

图1 全球水稻冠层图像数据库和相应的粗粮产量，(a) 条形图描述了在数据库中收集到的7个国家的粗粮产量的频率分布。(b) 7个国家的数据集组成的饼图，以及每个国家的平均粗粮产量。(c) 数据集的表格表示，分为3个主要部分；开发和评估、稳健性和预测。对于子类别，训练和验证数据集被直接用于开发模型。测试和去除圆锥花序的数据集被用来评估模型的准确性和特点。(d-e)显示最高（d）和最低（e）粗粮产量的水稻冠层图像，分别在塞内加尔和马达加斯加采集。

 图2 开发基于深度学习的模型来估计水稻的粗粒产量，(a) 图中显示了训练和验证数据集的学习曲线。验证数据集的最小损失记录在历时61，该模型被用于本研究的所有分析。(b-c)散点图描述了验证（b）和测试（c）数据集中粗粒产量的估计。虚线代表1：1的关系。rRMSE代表相对均方根误差。(d) 散点图显示在测试中每个栽培品种的估计产量和观察产量之间的差异 的差异与训练数据集中的收割田块数量的关系。

 图3 通过使用不同分辨率的图像建立的模型对产量的估计精度。(a) 验证和测试数据集中模型的R²值与地面采样距离（GSD）之间的关系。(b) 散点图描述了测试数据集中3.2厘米pixel^-1的图像对粗粮产量的估计。 (c-d) GSD分别为0.2厘米pixel^-1（原始）和3.2厘米pixel^-1的图像实例。

 图4. 独立于模型建立的数据集对粗粮产量的预测。(a-b) 在日本东京收获的Koshihikari和Takanari的观察（a）和估计（b）粗粒产量的比较。条形图表示标准误差（Koshihikari的n=5，Takanari的n=6）。(c-d)坦桑尼亚不同水分管理下IR 64、NERICA1和TXD 306的观察（c）和估计（d）粗粒产量的比较。AWD15和AWD7.5分别代表当水位在15和7.5厘米的土壤表面下下降时，间歇性灌溉至5厘米深。(e-f) 坦桑尼亚试验中观察（c）和估计（d）的粗粮产量的2-way方差分析结果。

 图5. 去除圆锥花序的实验，以显示圆锥花序对产量估计的定量贡献。(a)去除圆锥花序的示意图。图像是在水稻冠层（cv. Koshihikari）上方的固定照相机上拍摄的。每株植物的两个圆锥花序被移除，并以随机移动的方式拍摄5次图像。这个周期重复进行，直到所有的圆锥花序都被从冠层中移除。(b) 移除圆锥花序之前的冠层图像，移除周期=5和9（无圆锥花序）。(c) 观察到的和估计的产量与清除周期的关系线图。(d) 通过去除圆锥花序产生的冠层的观察和估计产量的散点图。

 图6 凹陷角度和一天中的时间对产量估计的影响。(a) 拍摄不同凹陷角度的冠层图像的协议示意图。数码相机被放置在水稻冠层上方的轨道上，以改变同一水稻冠层的凹陷角度。每个角度的图像在随机移动的情况下拍摄5次。(b) 从20度和90度的凹陷角度拍摄的冠层图像的例子。(c) 估计产量与观察产量的相对误差与图像的凹陷角度的博弈图。(n = 25). (d) 在一天中的不同拍摄时间拍摄冠层图像的协议示意图。在收割前5天，相机被固定在水稻冠层（Koshihikari品种）上方，并收集图像直到收割日。(e) 在600和1400小时拍摄的冠层图像的例子。(f) 估计的粗粮产量与一天中的时间的关系图。

 图7 该模型适用于在籽粒灌浆阶段拍摄的图像。(a) 在50%抽穗后约1至4周拍摄的图像的例子（cv. IRRI 154）。(b) 估计产量相对于最终产量的散点图与50%抽穗后的天数相比较。该数据由22个栽培品种在50%抽穗后1-4周拍摄的图像组成。实线代表分段线性回归。(c) rRMSE和R2的矩阵与在50%抽穗后约1-4周和收获时拍摄的图像的观察和估计产量。(d) 散点图描述了50%抽穗后3周（3WAH）和收获时的观察和估计产量之间的关系。