🎵 M2UGen融合音乐理解和多模态任务，支持文字、图像、视频生成音乐。
🚀 AIGC应用在B端和生产力场景崛起，以知识管理为主流应用场景。
对此，加州理工学院地球物理学家、美国地质调查局前高级科学家Tom Heaton就曾这样怀疑:我们根本无法预测地震。
**划重点:**除了可以从文字生成音乐外，它还支持图像、视频和音频生成音乐，并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解，ViT进行图像理解，ViViT进行视频理解，并使用MusicGen/AudioLDM2模型作为音乐生成模型（音乐解码器）。用户可以轻松移除或替换特定乐器，调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。