科学技术与应用

基于图像识别的问诊手语辅助系统设计与开发

张 茹

陕西国际商贸学院

DOI: https://doi.org/10.59429/kxjsyy.v3i4.15201

Keywords: 图像识别；手语识别；YOLOv12；智慧医疗

---

Abstract

针对听障人士就医沟通障碍问题，本文设计并实现了一种基于 YOLOv12 的手语识别辅助系统。该系统结合 MediaPipe 手部关键点提取与 YOLOv12 模型，实现对医疗场景下手语手势的实时识别。基于 CSL-500 数据集构建医 疗手语数据集，实验表明系统识别准确率达 94.2%，精确率 93.8%，召回率 94.1%。系统采用前后端分离架构，支持 实时视频采集、文字显示与语音播报，为听障人士与医护人员的沟通提供了有效的智能辅助工具。

---

References

[1] WU Yaqin, ZHANG Tao, NIU Jianjun, et al. YOLO-based lightweight traffic sign detection algorithm and mobile deployment[J]. Optoelectronics Letters, 2025.

[2] Guo Mu, Zhang Xinyu, Li Deyi, et al. Traffic light detection and recognition for autonomous vehicles[J]. The Journal of China Universities of Posts and Telecommunications,2015(01): 54-60.

[3] Chong Wang, Hao Xie, Rulan Xia, et al. Nanofluidic ion rectification sensor for enantioselective recognition and detection[J]. Chinese Chemical Letters, 2025.

[4] Wondimu DIKUBAB, Dingkang LIANG, Minghui LIAO, et al. Comprehensive benchmark datasets for Amharic scene text detection and recognition[J]. Science China (Information Sciences), 2022(06): 77-78.

[5] WAN Tao, JIANG Kaili, LIAO Jingyi, et al. Detection and recognition of LPI radar signals using visibility graphs[J].Journal of Systems Engineering and Electronics, 2020(06): 104-110.

[6] Zhang Xing, Hu Jianhao. Blind interference detection and recognition for the multi-carrier signal[J]. The Journal of China Universities of Posts and Telecommunications, 2017(02):52-60.

[7] 韩晓冰，胡其胜，赵小飞等. 改进 YOLOv7-tiny 的手语识别算法研究[J]. 现代电子技术，2024(01): 63-69.

[8] 邓玉琼，李维乾，何飞等. 基于改进 YOLOv7 的轻量化手语识别模型研究[J]. 舰船电子工程，2025.

[9] 潘丽. 基于改进的 YOLOv5s 结构的手语识别设计[J]. 西昌学院学报 ( 自然科学版 )，2024(02): 57-63+69.

[10] 殷钦东，刘明良. 基于 Flask 与 Vue 框架的智能垃圾识别系统设计与实现[J]. 电脑编程技巧与维护，2026(5):132-134+159.

[11] 深度学习模型对 CSL 手语数据集进行中国科学技术大学 CSL 手语数据集训练基于卷积神经网络与循环神经网络结合架构，3D-CNN 或 I3D 特征提取，配合LSTM 或 GRU 处理时间序列信息. 中科大 csl 手语数据集 -CSDN 博客.

[12] 李红蓉，潘文林，聂腾涛等. 基于 MediaPipe Landmarks 的动态手语孤立词识别[J]. 计算机与数字工程，2026, 54(3): 780-785.

[13] 张恒博. 基于深度学习的手语识别研究与实现[D].银川：宁夏大学，2023.

[14] 井钰. 面向医疗领域的舆情分析系统的设计与实现[D]. 哈尔滨：东北林业大学，2022.

[15] 王蕾. 面向医疗健康领域的智能问答系统的设计与实现[D]. 北京：北京邮电大学，2018.