Разработчики группы Google Magenta, сообщает N+1, написали несколько нейросетевых алгоритмов GrooVAE, позволяющих дополнять готовые мелодии партиями на барабанах.
Основа этих алгоритмов — рекуррентный вариационный автокодировщик. Работает это следующим образом: автокодировщик после получения музыкальной последовательности преобразует её в «высокоуровневое представление», далее результат снова преобразуется в реалистичную музыку и воспроизводится. Для «обучения» алгоритма был собран датасет из 13,5 часов игры барабанщиков на электронной ударной установке.
Один из алгоритмов — Groove — функционирует по принципу соотношения партитуры и грува*. Так, эта модель принимает на вход партитуру и выдает для неё грув. Алгоритм представлен в виде плагина для музыкального редактора Ableton Live и в виде браузерного приложения.
Второй алгоритм — Drumify — может принять мелодию, исполненную на любом инструменте, и подобрать к ней партию на барабанах. Авторы для примера показали, как эта модель создаёт барабанную партию к записям игры на бас-гитаре и музыкальном синтезаторе.
* Партия ударных инструментов в ритмичном музыкальном произведении включает 2 компонента: партитуру и грув. В случае игры на барабанах партитура описывает, какие конкретные элементы ударной установки используются в конкретную долю ритма. А грув описывает манеру исполнения: это сила ударов, смещение, удлинение каждого удара. Большинство барабанщиков, имея один из 2-х компонентов, могут подобрать второй.