Deepmind开发Lyria音乐生成模型,探索音乐创作新范式

Deepmind发表了一个称之为Lyria的先进音乐生成模型,可以生成带有乐器和人声的高品质音乐。Deepmind透过与YouTube合作,整合Lyria模型开发了音乐创作工具Dream Track,要供YouTube创作者更有效率地将创意转换成作品。

研究人员解释了当前人工智慧模型生成音乐的挑战,在於音乐本身包含极高的资讯密度,其中每一秒钟都可能拥有多个节拍、音符和和声。而这使得音乐相较与语言更为复杂,对人工智慧模型来说,维持长时间音乐序列中的连续性特别困难,因为模型需要在不同的乐句、诗节和长段落中,保持音乐的流畅性和一致性。

另外,因为音乐经常同时包含多个声部和乐器,也进一步增加了音乐生成的难度,因为模型需要协调多种声音和旋律,使其能和谐地结合。

而Deepmind所开发的Lyria人工智慧模型的特点在於生成高品质音乐,并包含乐器和人声的部分。Lyria模型擅长执行音乐变换和延续的任务,因此可以根据现有音乐片段创造出新颖,或是与原始风格一致的续篇。研究人员也强调,Lyria模型拥有细致的控制选项,可让用户精确制定生成音乐风格和表现方式。这些功能让Lyria模型能够成为强大的音乐创作工具,满足专业音乐创作的需求,同时也可供一般用户简单上手。

YouTube也开始在短影片功能Shorts上实验音乐创作工具Dream Track,探索Lyria模型带来的效益。在这实验中,创作者将使用Dream Track,透过运用Lyria模型生成独特的配乐,配乐将结合由人工智慧合成的声音,并且可选用Charlie Puth、Charli XCX或Sia等多位YouTube合作艺术家的音乐风格。

Dream Track还可以透过简单地输入主题,让用户从轮播中选出一位艺术家,替短影片生成30秒的配乐。由於Lyria模型的强大能力,因此Dream Track可以同时生成歌词、伴奏,以及该艺术家的声音风格。

透过与更多的艺术家、作曲家和制作人合作,Deepmind正广泛地探索,音乐创作领域的人工智慧应用,像是用户只要哼唱,人工智慧就会把旋律转换成为管乐,或是将MIDI的和弦转换成逼真的合唱声部,甚至是将声乐音轨添加乐器伴奏。

特别的是,Lyria模型生成的所有内容,都会加上SynthID浮水印标记。SynthID原本是一种用於辨识Google云端Vertex AI上Imagen生成图像的技术,SynthID能够在不影响听觉体验的前提下,在人工智慧生成的音讯内容中,嵌入听众无法察觉的声音标记。研究人员提到,这种声音浮水印即便在经过添加噪音、MP3压缩甚至加快和减慢曲目速度等常见的修改,都能够维持可检测性,Lyria模型也可以透过侦测歌曲中的SynthID,来确认歌曲中由Lyria模型生成的部分。

openvpn怎么购买

About the Author

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
内联反馈
查看所有评论

You may also like these

0
希望看到您的想法,请您发表评论x