腾讯发布多模态音乐生成模型M2UGen
9. 多模态AI将成为新常态。苹果公司的Ferret和特斯拉的FSD正在引领潮流。但挑战也会随之而来。视觉、听觉，甚至是感觉?
1. 🚀 **挑战与解决方案**:面对现有研究在理想条件下渲染3D人物的局限性，Wild2Avatar专注于解决真实场景中摄像头视野被遮挡导致部分遮挡的问题。
据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。