数据竞赛已经成为一种流行的方法，以众包新的数据分析方法来解决一般和专门的数据科学问题。数据竞赛在植物表型分析方面有着丰富的历史，新的田间现场数据集有潜力为研究和商业应用提供解决方案。我们开发了全球小麦挑战赛，作为2020年和2021年的泛化竞赛，以利用来自不同地区的田间图像找到更强大的小麦麦穗检测解决方案。我们分析了获胜的挑战解决方案在应用于新数据集时的鲁棒性。我们发现竞赛的设计对获胜解决方案的选择有影响，并为未来的竞赛提供建议，以鼓励选择更健壮的解决方案。

图1 来自UQ（昆士兰大学）数据集的样本

图2 来自Arvalis LITERAL数据集的样本

图3 针对基线的最佳解决方案的详细性能。极端域结果由文本表示。Top:每个域的精度;中间:假阳性率(FPR);下:假阴性率(FNR)

 图4 与测试集(GT)中所有标记的边界框的大小分布相比，缺失边界框大小的累积频率。

图5 在测试数据集的随机样本图像上说明了GWC_2021的假阴性(FN)和假阳性(FP)。标记头像用绿色边框表示，假阴性和假阳性用红色边框表示

图6 按数据集分割(训练、验证、测试)和解决方案(基线、GWC_2020、GWC_2021)分组的每次会话rRMSE的分布。红线表示中位数，蓝框表示25%-75%分位数。晶须延伸到最极端(1%-99%假设为正态分布)，而钻石对应于异常值。顶部的菱形表示大于rRMSE=1的异常值，rRMSE值在括号中表示。

图7 测试数据集AA2021与rRMSE的关系及GWC_2021解决方案。18个点中的每一个点对应一个会话。95%的置信区间用蓝线表示。

图8 野外测量的穗密度与GWC_2021解决方案估算的微地块RGB图像穗密度的比较。每个点对应一个微图。蓝点和红点分别对应UQ和Literal数据。黑线为1:1线。

图9 在同一框架数据集划定的采样区域内，实地测量的穗密度与人工RGB图像上测量的穗密度的比较。来自UQ数据集的数据(n=185)。

图10 比较三种不同方法在UQ数据集上的穗计数的rRMSE和r²:现场计数、图像计数和使用GWC_2021解决方案的穗计数估计。未知的实际正面数显示在图式的中间。在每种方法和中心框之间还显示了由三重误差配置误差得出的统计量(rRMSE和r²)。

表1 研究中使用的三个数据集的总结

表2 获奖方案总结