智慧科技

多模态数据融合与运动学特征驱动的手势动态检测系统研究

王 乐萌

中车科技创新（北京）有限公司/ 中车工业研究院有限公司

DOI: https://doi.org/10.59429/zhkj.v3i3.14400

Keywords: 多模态数据融合；大模型；运动学特征；手势检测；合规感知

---

Abstract

针对手势动态检测中数据来源单一、规则适配依赖人工配置、运动过程识别稳定性不足等问题，提出一种多 模态数据融合与运动学特征驱动的手势动态检测系统。以轨道交通司机作业合规检测为典型应用场景，系统融合路 网信息、司机室视频与列车运行状态三类异构数据，利用大模型对路网信息进行语义解析生成结构化规则数据，结 合当前运行状态动态匹配检测规则，并基于运动学特征对手势连续运动过程进行分析，实现对规范手势作业行为的 合规性判定。该系统降低了人工配置规则的依赖，提高了复杂场景下规则适配的灵活性与合规检测的实时性。

---

References

[1] 曹海鹏，唐伟忠，宋哲超等 . 车务段安全生产指挥中心管理系统设计[J]. 铁路计算机应用，2024, 33(6): 46-56.

[2] 闫颢月，王伟，田泽 . 复杂环境下基于改进 YOLOv5 的手势识别方法[J]. Journal of Computer Engineering & Applications, 2023, 59(4).

[3] 谢晓燕，曹盘宇，夏浩等 . 基于编码视频的动态手势数据优化与识别[J]. 北京邮电大学学报，2024, 47(2): 90.

[4] 杨连报，李平，刘艺飞 . 文本大数据分析技术在铁路行车安全领域的应用研究[J]. 中国铁路，2020.

[5] Sun Y, Li Y, Li S, et al. PBA-YOLOv7: an object detection method based on an improved YOLOv7 network[J]. Applied Sciences, 2023, 13(18): 10436.