水稻穗部性状对水稻产量有显著影响，是水稻表型研究的主要目标。然而，现有的技术大多局限于受控的室内环境，难以捕捉自然生长条件下的水稻穗部性状。在此，我们开发了一种新颖的方法PanicleNeRF，该方法可以在智能手机上实现水稻穗三维模型的高精度和低成本重建。该方法结合大模型Segment Anything model (SAM)和小模型You Only Look Once version 8 (YOLOv8)，实现了水稻穗图像的高精度分割。然后利用NeRF技术对图像进行二维分割，进行三维重建。最后，对得到的点云进行处理，成功提取出圆锥花序特征。结果表明，PanicleNeRF有效地解决了2D图像分割任务，平均F1得分为86.9%，平均交汇比(Intersection over Union, IoU)为79.8%，边界重叠(BO)性能比YOLOv8提高了近一倍。在点云质量方面，PanicleNeRF显著优于传统的SfM-MVS (structure-from-motion and multi-view stereo)方法，如COLMAP和Metashape。结果表明，籼稻穗长和粳稻穗长的rRMSE分别为2.94%和1.75%。三维点云估算的穗体积与粒数(籼稻为0.85，粳稻为0.82)和粒质量(籼稻为0.80，粳稻为0.76)密切相关。该方法为水稻穗高通量田间表型分析提供了一种低成本的解决方案，提高了水稻育种效率。

图1  试验场和数据采集。(a)中国海南省陵水龙平高新技术园区籼稻成熟阶段。(b)中国浙江省嘉兴市嘉兴市农业科学院大田的粳稻成熟期。(c)使用智能手机围绕目标水稻穗进行数据采集。

图2  PanicleNeRF方法流程图。(a)数据获取和预处理。(b)二维图像分割。(c)三维重建。

图3  不同方法在水稻品种上的边界重叠性能。(a)籼稻数据集的性能。(b)粳稻数据集上的性能。

图4  图示不同方法对籼稻(左列)和粳稻(右列)具有代表性的图像分割结果。(a) Mask-RCNN分割结果。(b) YOLOv8分割结果。(c) PanicleNeRF分割结果。

图5  利用原始图像集和二维分割图像对籼稻和粳稻的NeRF模型进行重构，从三个不同的角度观察NeRF模型。(a)原始图像集得到的Indica NeRF模型。(b)二维分割图像得到的Indica NeRF模型。(c)原始图像集得到的Japonica NeRF模型。(d)通过二维分割得到的Japonica NeRF模型。

图6 (a)籼稻和(b)粳稻的穗和标记点云的代表性聚类结果示意图，其中蓝色表示穗语义，红色表示标记语义。

图7  PanicleNeRF与传统三维重建方法(COLMAP和Metashape)重建的代表性水稻穗状点云的比较(a)籼稻正面图。(b)籼米侧面图。(c)粳稻正面图。(d)粳稻侧视图。

图8  (a)籼稻和(b)粳稻穗长预测值与实测值的相关分析。

图9  籼稻和粳稻穗部预测体积与实测粒数和粒质量的相关分析。(a)籼稻的预测体积与实测粒数。(b)粳稻的预测体积与实测粒数。(c)籼稻的预测体积与实测籽粒质量。(d)粳稻的预测体积与实测粒质量的对比。

图10  籼稻和粳稻不同穗型的穗长、穗体积、粒数和粒质量相关热图。