田间作物产量预测对于特定场地管理至关重要，最近的研究通过融合基于无人机的多模态数据来促进这一过程。然而，这些研究等同于堆叠多模态数据，而没有充分使用冠层空间信息。本研究提出了多模态影像融合（MIF）注意力来动态融合基于无人机的RGB、高光谱近红外（HNIR）和热成像图像。基于MIF注意力，提出了一个名为MultimodalNet的新型模型，用于冬小麦的田间产量预测。为了比较多模态影像和多模态特征方法，使用基于无人机的冠层光谱、热成像和纹理特征构建了一个堆叠式集成学习模型。结果表明，MultimodalNet在生殖阶段取得了准确的结果，并且在融合中表现比任何单一模态更好。MultimodalNet在开花期表现最佳，决定系数为0.7411，平均绝对百分比误差为6.05%。HNIR和热成像对生殖期冬小麦的产量预测至关重要。与等效堆叠融合相比，通过适应性调整模态注意力的动态融合可以提高模型精度和适应性，并跨越冬小麦品种和灌溉处理。等效堆叠更多模态并不一定比动态融合较少模态产生更好的性能。使用具有丰富空间信息的多模态无人机影像的方法比使用多模态特征的方法更适用于田间作物产量预测。本研究表明，MultimodalNet是冬小麦田间产量预测的强有力工具。

图1 实验场地的位置

图2 现场实验设计。正交镶嵌图（a）是使用DJI M200和XT2（红色矩形）相机（b）的航向台图像构建的。蓝色矩形表示实验场，带×的红色圆圈表示地面控制点的位置。在七个处理中，浇水充足的处理（c）中冬小麦品种的分布是相同的。DJI M600 pro使用Pika L（红色矩形）相机拍摄了高光谱图像（d）。

图3 不同水处理的产量差异。

图4. 开花期的热成像（a）和近红外（b）图。

图5 多模式图像融合块的体系结构。

图6 多模态网络的架构。

图7 堆叠模型的构建。

图8 MultimodalNet分别在灌浆（a）、开花（b）和抽穗（c）阶段的结果。

图9 结果在缩减的多模态图像数据集上的多模态网络和多模态网络。从上到下分别是RGB+Thermal、RGB+HNIR、HNIR+Thermal和RGB+HNIR+Thermal的结果。

图10 不同水处理和生长阶段的平均注意差异，RGB分支被用作参考。

图11 单一模态的产量预测结果。