AgriBench:多模态大型语言模型的分层农业基准


发布时间:

2025-02-28

来源:

作者:

本文介绍了农业基准(AgriBench),这是首个为评估农业应用中的多模态大型语言模型(MM-LLMs)而设计的农业基准。为了进一步解决基于农业知识的数据集限制问题,我们提出了MM-LUCAS,这是一个多模态农业数据集,包括1,784幅景观图像、分割掩膜、深度图和详细注释(地理位置、国家、日期、土地覆被和土地利用分类详情、质量评分、美学评分等),该数据集基于土地利用/覆被区域框架调查(LUCAS)数据集,其中包含欧盟(EU)领土上土地利用和土地覆被的可比统计数据。这项工作提出了推进农业MM-LLMs的开创性观点,目前仍在进行中,为基于特定专家知识的MM-LLMs的未来发展和创新提供了宝贵的见解。

  
 图1 农业领域MM任务难度的五个层次。
  
表1 缩写
  
图2 左图:MM-LUCAS数据集概览。中间:数据收集和处理的说明。右图:MM-LUCAS数据集中的数据示例。中间和右边的方块颜色对应左边的方块颜色。
 
表2 MM-LUCAS数据集中的微数据详情
 
 表3 27个欧盟国家
 
 表4 MM-LUCAS中34个语义分割类
 
 表5 GPT- 4o为LandQA生成的问题提示示例。
 
 图3 前10个lc1_label和所有lu1_label类别的分布。
  
表6 MM-LUCAS数据集土地覆盖(LC)分类
 
表7 MM-LUCAS数据集的土地利用(LU)分类
 
 图4 不同分割类别的平均审美评分(AS)。
 
  图5 质量得分和审美得分在欧盟的空间分布。
 
 图6 五个最常见的类别和五个最不常见的类别的美学评分(AS)的季节性变化。

来源

Zhou Y, Ryo M. AgriBench: A Hierarchical Agriculture Benchmark for Multimodal Large Language Models. arXiv preprint arXiv:2412.00465, 2024.

 

编辑

王三三

推荐新闻

石时之约|韩志国:透过表型数据,看见植物的喜怒哀乐!

本期石时之约,我们将对话慧诺瑞德(北京)科技有限公司总经理、国际植物表型学会(IPPN)执委会委员/工业分会副主席韩志国,一起从表型数据的科学角度,去读懂农作物的喜怒哀乐和前世今生。

慧科研、慧育种、慧种田——慧聚改变的力量

让我们“慧聚”在一起,为“慧科研、慧育种、慧种田”赋能。

高通量植物表型平台建设注意事项

育种,是在给定的环境条件下,选择各种表型指标(产量、品质、抗性)最优的基因型材料的过程(AI育种,从这里起步)。育种工作中大约70%的工作量来自表型观察测量和筛选,是最耗人力物力的过程。

作物生理表型测量基础原理

生理表型测量的核心在于“早、快”,要在肉眼可见之前就能测量并预判出变化趋势,才是这个技术的核心价值。叶绿素荧光成像,恰好满足了这个要求。