植物养分亏缺动态监测对于制定合理施肥方案、实现农田精细化管理具有重要意义。而由于植物本身的时空异质性和农田环境的复杂性导致全生育期养分动态诊断精度受到限制。针对上述问题，本研究通过卷积神经网络(CNN)提取作物不同生育期冠层RGB图像时序特征，构建了基于长短记忆网络(LSTM)的不同施肥处理的油菜养分动态诊断模型。通过两年的田间试验，证明了LSTM优于传统的机器学习方法，且时序特征的引入提升了模型的精度。在2017/2018数据集上进行验证表明，Inceptionv3-LSTM的植物养分亏缺诊断精度最高，达到95%，并且在跨数据集验证时表现了较好的泛化能力。本研究阐明了机器学习在农情监测领域的应用潜能，也为解决复杂农田环境下作物信息时空动态监测提供了关键技术。

不同生育期田间油菜受到不同营养胁迫的冠层图像

本研究提出了一种提取多时序特征的深度学习算法框架。采用已训练的深度学习模型并结合k-means算法，建立了图像颜色校准方法，用于从油菜作物冠层中捕获具有一致颜色属性的图像;使用基于VGG16的编码器从复杂的图像背景中识别与分割目标作物;利用不同的CNN结构(Inceptionv3、ResNet101、ResNet18、VGG16、AlexNet)从预处理时序图像中提取深度特征(DFs)，并与手动提取的特征(HFs)进行对比;将图像深度时序特征作为长短时记忆网络(LSTM)的输入，构建作物养分诊断模型。最后将LSTM模型与另一种经典的标准多类支持向量机(MCSVM)模型进行了对比分析。

本研究提出的CNN-LSTM框架

实验结果表明，与HFs相比，DFs在作物养分诊断中更具鉴别能力。此外，LSTM取得了远优于MCSVM的模型性能，证明了所提出的LSTM时间序列模型对油菜养分诊断的有效性。在不同的环境条件下，Inceptionv3-LSTM获得了最好的分类性能，最高总体分类精度为95%，同时也获得了较好的泛化能力，其总体泛化分类精度为92%，而HF-MCSVM的分类性能最低。

(a) Inceptionv3、(b)ResNet101、(c)ResNet18、(d)VGG16、(e)AlexNet和(f)HF的t-SNE映射。

基于不同年份数据集与不同测试模型的养分诊断结果混淆矩阵。基于2017/2018数据集的HF-LSTM(a)、Inceptionv3 LSTM(b)和Inceptionv3 MCSVM(c)，基于2018/2019数据集的HF-LSTM(d)、Inceptionv3 LSTM(e)和Inceptionv3 MCSVM(f).

作者介绍：

论文第一作者为浙江大学生物系统工程与食品科学学院博士后Alwaseela Abdalla，通讯作者为浙江大学生物系统工程与食品科学学院岑海燕研究员。研究工作得到国家重点研发计划项目和国家自然科学基金项目资助。

来源：

Abdalla A,Cen H, Wan L, et al. Nutrient Status Diagnosis of Infield Oilseed Rape via Deep Learning-Enabled Dynamic Model. IEEE Transactions on Industrial Informatics ( Volume: 17, Issue: 6, June 2021). DOI: 10.1109/TII.2020.3009736.

来源：