教育与研究

基于跨模态 Transformer 与扩散模型的舞蹈 - 音乐协同生成模型研究

吕 毅

广西艺术学院

DOI: https://doi.org/10.59429/jyyj.v7i12.12327

Keywords: 体感计算；跨模态生成；音乐 - 舞蹈协同；Transformer；扩散模型；人工智能艺术

---

Abstract

舞蹈与音乐的协同创作是艺术领域的重要课题，其本质是人类“身体化音乐认知”的外在体现。为实现舞蹈 与音乐的智能协同生成，本研究提出了一种名为“体感音律”的跨模态智能生成框架。该框架以身体化音乐认知理 论为指导，构建了一个双向的深度学习模型。模型采用双流 Transformer 网络进行音乐与舞蹈特征的深度跨模态对齐 与理解，并利用扩散模型生成高质量、多样化的舞蹈动作序列。在公开数据集 AIST++ 上的实验表明，本模型在节 拍对齐度、动作自然度和风格一致性等关键指标上均优于基线方法，有效验证了其感知与生成能力。该研究为艺术 与人工智能的深度融合提供了可行的技术路径与应用范式。

---

References

[1] Leman, M. (2008). Embodied Music Cognition and Mediation Technology. MIT Press.

[2] Li, J., et al. (2021). Dance Generation with Music. ACM MM.

[3] Tang, T., et al. (2023). Music-to-Dance Generation with Temporal-Spatial Coordination. IEEE TMM.

[4] Jaques-Dalcroze, E. (1921). Rhythm, Music and Education. Putnam.

[5] Li, R., et al. (2021). AIST++: An Annotated 3D Dance Dataset. CVPRW.