应用案例

使用Helios 3D植物和辐射传输建模框架的可见光和多/高光谱图像模拟和自动注释


发布时间:

2024-06-05

来源:

作者:

深度学习和多模态遥感被广泛用于植物和作物性状分析,但这些深度学习模型中有许多是有监督的,并且需要参考数据集来进行图像标注。获取这些数据集通常需要进行既费力又耗时的实验。此外,从遥感数据中提取除简单几何特征之外的特征仍然是一个挑战。为了解决这些挑战,本文提出了一个基于Helios 3D植物建模软件的框架,设计了一个基于辐射传输建模的植物遥感和近端图像仿真框架,用于无监督深度学习模型训练。该框架能够模拟RGB、多光谱/高光谱、热成像和深度相机,并生成具有完全分辨率参考标签(如植物物理性状、叶片化学浓度和叶片生理性状)的相关植物图像。Helios提供了一个模拟环境,可以生成随机变化的植物和土壤的3D几何模型,以及它们的属性和功能的规范或模拟。这种方法与传统的计算机图形渲染不同,它明确地模拟了辐射传输物理,为潜在的植物生物物理过程提供了关键的联系。结果表明,该框架能够在给定的照明场景下生成高质量的、标记的合成植物图像,这可以减少或消除对人工收集和注释数据的需求。给出了两个示例应用,证明了使用该模型通过专门使用模拟图像训练深度学习模型并使用真实图像执行预测任务来实现无监督学习的可行性。

 

图1  合成图像生成框架的示意图。基于光线跟踪的相机模型用于模拟从光源(例如太阳,LED光)发射的辐射传播,并在被场景中的物体散射后到达相机。指定辐射源通量、物体反射率和透射率以及相机响应的光谱分布,以定义辐射如何与物体表面和相机传感器相互作用。基于prospect的叶片光学模型可以根据用户指定的叶片化学物质浓度生成叶片光学性质。最后,模拟相机生成可以任意自动注释的结果图像。

 

图2  基于薄透镜模型的基于光线跟踪的相机模拟方法示意图。右图:辐射源由每个叶片表面单元(黑色实体框)采样,采用反向射线追踪方法。左图:相机模型在镜头上随机采样,发射穿过焦平面的射线,查询所碰到的面元的散射辐射通量和唯一标识符。

 

图3  来自豆叶检测案例的示例图像。(a)来自MSUPID的真豆RGB图像;(b)合成bean RGB图像;(c)去除背景的真实bean图像,由在105张合成图像上训练的模型标记(注释用类类型(0表示叶子)和随后的IoU值标记)。

 

图4  实验HET51-DIS-UNI-NIR-00在ROMC情况下测量的双向反射系数(BRF)曲线和模拟相机在多个观测天顶角下捕获的相应合成图像(图像下方红色数字)。

 

图5  校正相机的光谱响应。(a)尼康B500相机拍摄的DGK色卡实景图像,(b)模拟尼康D700拍摄的未校准合成色板图像,(c)模拟尼康B500在阳光下拍摄的校准合成色板图像。

 

图6  太阳照射下高粱植物合成图像:(a)原始输出RGB图像,(b)失真恢复后的RGB图像,(c) 980 nm NIR图像,(d) 550 nm VIS图像,(e)深度图像,(f)热图像。注意(b)中图像边界周围的黑色间隙是应用图像失真恢复程序的结果。在(e)色阶范围从白色(离相机最近)到黑色(离相机最远)。在(f)中,颜色范围从黄色(最冷)到黑色(最热)。相机焦平面距离为3m, HFOV为27◦,镜头直径为0.02 m。550nm VIS图像和980nm NIR图像由模拟多光谱相机(Spectral Devices Inc .)捕获。

 

图7  例如大规模模拟图像。(a)太阳能光源照射下“惠灵顿柑橘园”部分区域(面积50 × 50m2)的RGB合成图像。相机焦平面距离为100,000 m, HFOV为0.0715◦,镜头直径为0.01 m。(b)太阳光源照射草莓植株的RGB合成图像(范围8 × 8m2)。相机焦平面距离为11.5 m, HFOV为17.2 o,镜头直径为0.01 m。

 

图8  叶绿素(从左到右:10、20、30、40µg/cm2)和类胡萝卜素(从左到右:2.5、5、7.5、10µg/cm2)不同输入叶片浓度的合成豆RGB图像。其他叶性质保持不变:初等层数N = 1.5,花青素浓度为1µg/cm2,等效水分厚度为0.015 g/cm2,每面积干质量为0.009 g/cm2。相机焦平面距离为1.55 m, HFOV为18◦,镜头直径为0.02 m。

 

图9 豆类植物的示例注释合成图像。(a)叶片叶绿素浓度分布图(色标单位:µg/cm2), (b)合成RGB图像,(c)植物分割图,(d)净光合作用分布图(色标单位:µmol m−2 s−1)。相机焦平面距离为1.35 m, HFOV为23◦,镜头直径为0.02 m。

 

图10 基于一张测试图像的草莓检测结果的示例比较:(a)使用仅使用100张合成图像训练的模型,(b)使用仅使用300张合成图像和50张背景图像训练的模型,以及(c)来自数据集的原始标签框。请注意,在原始数据集中,只有几乎全红的浆果被标记。

 

来 源

Tong Lei, Gräfe Jan, Ismael Kilinya Mayanja, Mason Earles, Brian N Bailey. Simulation of automatically annotated visible and multi/hyperspectral images using the Helios 3D plant and radiative transfer modeling framework. Plant Phenomics. 2024, 10, 34133.

 

编辑

王春颖

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。