科学技术与应用

基于多模态交叉注意力机制的目标检测框架

郑 骁

中国电子科技集团公司光电研究院/河北工业大学电气工程学院

DOI: https://doi.org/10.59429/kxjsyy.v3i1.13241

Keywords: 脑电信号；眼动追踪；目标检测

---

Abstract

脑电信号能直接捕获大脑皮层神经活动的电位变化，反应用户注意力分配与目标识别意图；眼动行为则通过 记录眼球运动轨迹与注视区域，间接表征视觉注意力焦点。本文提出一种基于多模态交叉注意力机制的目标检测框 架，利用生物信号在目标识别过程中高效选择与快速决策能力，设计了双分支 Transformer 编码器，捕捉脑电信号与 眼动行为的依赖关系，并基于 Transformer-YOLO v5 网络利用生理信号注意力权重增强 YOLO v5 的视觉特征表达， 构建了符合人类认知规律的混合增强系统。

---

References

[1] Vaswani A, Shazeer N, Parmar N, et al. Attention is all your need[J]. Neural information processing systems, 2017,30.

[2] Matran-Fernandez A, Poli R. Brain-Computer Interfaces for Detection and Localisation of Targets in Aerial Images[J]. IEEE transactions on bio-medical engineering, 2016, 64(4): 959-969.

[3] Zhang N. Detection using YOLO v5n and YOLO v5s with small balls[C]. Preceedings of the IEEE conference on computer vision and pattern recognition. Las Vagas: IEEE, 2016:779-788.

[4] 谭嘉宁，罗方亮，张馨元等. 视觉刺激事件相关电位及其研究进展[J]. 中国法医学杂志，2017,32(1):44-47.