社科与实践

面向听障人群的双向手语互译平台分层架构与关键技术研究

李 澍惠

嘉兴大学商学院

郑 雅雯

嘉兴大学商学院

郭 丽

嘉兴大学商学院

黄 雨欣

嘉兴大学商学院

DOI: https://doi.org/10.59429/sksj.v3i8.15106

Keywords: 手语互译；端边云协同；多模态融合；轻量化模型；无障碍交互

---

Abstract

就国内听障者所遇手语翻译资源缺乏、目前智能手语工具只作单向使用、弱网不能运行、复杂情况识别不准 的实际困难而言，应建立端边云三级协同的分层手语互译平台。将视觉、惯性及肌电信号三者作为统一输入，按一 定规则完成预处理流水线设计，利用 VGG16-MLP 并行结构对特征加以提取，结合信息熵自动调节的加权法做融合 处理，配合 CNN-LSTM 网络对连续手语进行时序解码；按 INT8 标准压缩模型、用通道剪枝方法降低复杂度，把 移动端离线和云端精确两种方式分开运用，同时组织多级公益实施计划。仿真试验给出多模态融合类方案的准确率 99.4%，其离线性能基本保持在线结果的 90% 以上，端到端延迟少于 0.2s。所提分层互译思路既重实时、又利离线、 且具普惠意义，是无障碍手语智能产品及长期公益的可行技术路线。

---

References

[1] 中国残疾人联合会. 全国残疾人基本服务状况和需求信息数据动态更新报告[R]. 北京：中国残疾人联合会，2024.

[2] 李红蓉，潘文林，聂腾涛等. 基于 MediaPipeLandmarks 的动态手语孤立词识别[J].计算机与数字工程，2026,54(3):780-785.

[3] 马旭冉，陈圣贤，李熙文等. 基于改进 YOLOv5 算法的智能手语翻译方法研究[J] .电脑知识与技术，2025,21(24):36-39.

[4] 张兴富，李燕，张金帅等. 端边云协同的分布式人工智能模型训练与推理优化[J].现代应用物理，2025,16(3):204-217.

[5] 梁智杰. 聋哑人手语识别关键技术研究[D]. 武汉：华中师范大学，2019.

[6] 关忠，胡永利，尹宝才. 手语识别与翻译方法综述[J/OL]. 北京工业大学学报，1-27[2026-07-19].

[7] Neverova N, WOLF C, TAYLOR G W, et al. Modular multimodal fusion for gesture recognition [C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, IEEE,2015.

[8] 焦爽，陈光辉. 基于加权融合的语音表情多模态情感识别方法[J]. 计算机仿真，2024,41(7):417-422.

[9] 中共中央国务院.“十四五”残疾人保障和发展规划[Z].2021.

[10] Lugaresi C, Tang J, Nash H, et al. Mediapipe: a framework for building perception pipelines [R]. arXiv preprint arXiv:1906.08172, 2019.

[11] 郜湘东. 基于深度学习的手语识别算法研究[D].西安邮电大学，2025.

[12] KORADA L, SIKHA V K, SIRAM D. AI & accessibility: a conceptual framework for inclusive technology [J]. International Journal of Intelligent Systems and Applications in Engineering,2024,12 (23):983-992.

[13] 应捷，徐文成，杨海马等. 融合自适应图卷积与Transformer 序列模型的中文手语翻译方法[J]. 计算机应用研究，2023,40(5):1589-1594.

[14] 李娟，张磊. 智慧助残 AI 平台政企公益协同运营模式研究[J]. 残疾人研究，2025(2):78-85.

[15] SMITH J. Artificial intelligence and health equity for people with disabilities [J]. Journal of Health and Social Behavior,2025,66 (2):142-158.

[16] 刘欣易，孔家伟，陈果然. 基于 VGG-Nets 算法手势识别设计与实现[J].全面感知，2023(5):35-38.