科学技术与应用

面向主粮作物病害诊断的跨模态注意力模型研究

左 春婷

长春光华学院电气信息学院

王 帅

长春光华学院电气信息学院

张 淑艳

长春光华学院电气信息学院

于 大海

长春光华学院电气信息学院

于 晓飞

长春光华学院电气信息学院

姜 峰

长春光华学院电气信息学院

DOI: https://doi.org/10.59429/kxjsyy.v3i4.15202

Keywords: 跨模态注意力；多模态融合；病虫害诊断；交叉注意力

---

Abstract

针对单模态深度学习方法在复杂田间环境下作物病害特征表征能力不足的问题，提出一种基于跨模态注意力 机制的多模态融合诊断模型。模型采用图像 - 文本双流编码，通过交叉注意力实现视觉与语义特征对齐，并引入门 控融合进行动态自适应选择。在 Soybean Disease 与 PlantVillage 数据集上分别取得 98.74% 与 99.08% 的识别准确率， 显著优于单模态模型。消融实验验证了各模块有效性。该方法可有效挖掘图像与文本间的互补信息，为田间复杂场 景下的病害快速诊断提供技术方案。

---

References

[1] WANG H Y, ZHOU G X, CHEN G Y. CEA-Net: A multi-modal model for corn disease classification with dynamic fusion and cross-layer connection mechanism[J].Pattern Recognition, 2026, 173: 112788.

[2] LI H N, CHEN B Y, CHEN J J. ITIMCA: Image-text information and cross-attention for multi-modal cassava leaf disease classification based on a novel multi-modal dataset in natural environments[J]. Crop Protection, 2025, 189: 106981.

[3] 马晓慧等. 结合注意力机制与双向特征融合的叶片病害检测方法[J]. 中国农机化学报，2024(10).

[4] 张家瑜等. 基于选择性注意力神经网络的木薯叶病害检测算法[J]. 农业机械学报，2024(05).

[5] 李坤等. 基于分层特征交叉注意力的小样本马铃薯病害叶片识别[J]. 江苏农业科学，2024, 52(10): 210-216.

[6] 薛悦平，胡彦蓉，刘洪久等. 基于多模态预训练模型的水稻病虫害图像描述生成研究[J]. 南京农业大学学报，2024, 47(4): 782-791.

[7] 杨巨成，沈杰，刘建征等. 基于图文模型和对比学习的水稻病害识别方法[J/OL]. 天津科技大学学报.

[8] 张净，邵文文，刘晓梅等. 基于超图的双模态特征融合的作物病害识别算法[J]. 江苏农业科学，2023, 51(15):164-173.