索尼的人工智能鼓起了歌曲

如果最近的事态发展有任何迹象，人工智能可能很快就会成为音乐家组成武库的宝贵工具。今年7月，总部位于蒙特利尔的创业公司Landr筹集了2600万美元用于分析音乐风格的产品，以创建定制的音频处理器，而今年早些时候，OpenAI和谷歌推出了利用音乐生成算法的在线创作工具。

受到这项和其他近期工作的启发，索尼的研究人员研究了有条件的鼓式音轨生成的机器学习模型。鉴于现有的歌曲和低维代码编码所述歌曲和待生成的新材料之间的关系，AI创建了从一首歌曲到另一首歌曲的各种“音乐似是而非”的鼓模式，而不管节奏和时间的差异 -转变(即改变速度或持续时间)。

“我们提出了一种模型架构......它可以对底鼓与低音和小军模式的节奏互动进行编码。每个映射代码都捕获了kick与bass和snare输入之间的局部关系，这样整个轨道就与一系列映射代码相关联，“共同作者解释道。“它不是直接控制生成材料的特性，而是控制生成的材料与调理材料的关系。”

为了训练人工智能系统，研究人员编制了一个由665首流行歌曲，摇滚歌曲和电子歌曲组成的数据集，其中节奏乐器贝司，踢腿和小鼓作为单独的44.1kHz音轨提供。(上下文信号由两个输入映射组成，用于节拍和下拍可能性以及小鼓和低音的起始功能的映射。)接下来，他们通过在阈值处理之后的所有振幅峰值上放置鼓样本来渲染鼓鼓的音频文件。他们通过选择样品的体积来引入动力学，从阈值峰值的70%到具有最大值的峰值的100%。

在一系列实验中，他们利用AI系统有条件地生成鼓模式和传送风格，或应用从一首歌推断出的节奏模式以在另一首歌中引入类似的模式。此外，他们分别以原始速度的80%，90%，110%和120%创建时间延长版本的歌曲，并确定了映射代码。

该团队指出，重建并不完美，部分原因在于模型的“不变性”，但他们指出验证集的准确性与训练集的准确性相似。

“我们已经证明，映射代码主要是速度和时间不变的，并且通过采样映射代码或通过样式传输，通过推断来自另一首歌曲的映射代码，可以通过圈套和低音轨道生成音乐上合理的底鼓轨道，“共同作者写道，他们将未来的工作应用于军鼓和低音轨道生成。