Будущее музыки — Google создал нейронный синтезатор с открытым кодом

Старанний
4807

NSynth Super — это часть действующего эксперимента Magenta: исследовательский проект Google, изучающий роль машинного обучения в искусстве и музыке. В первую очередь это связано с разработкой новых алгоритмов для создания музыки, изображений, рисунков и других объектов искусства. Проект также направлен на разработку интеллектуальных инструментов и устройств, которые помогут музыкантам расширить их возможности.

 

m4l

 

В ходе исследований Magenta создала NSynth (нейронный синтезатор) — алгоритм машинного обучения, который использует глубокую нейронную сеть для изучения акустических качеств звуков. Вместо их комбинирования или смешивания NSynth синтезирует новый звук, и вы можете получить звук, который является частью флейты и ситары одновременно.

 

Magenta продолжила экспериментировать с музыкальными интерфейсами и инструментами, чтобы сделать алгоритм игровым и более доступным, это дает музыкантам возможность создавать музыку используя абсолютно новые звуки, сгенерированные NSynth из четырех разных источников.

 

Прототип NSynth был передан на испытания музыкантам, чтобы лучше понять как они смогут использовать синтезатор в творческом процессе. Для этого в студии записали 16 оригинальных звуков в диапазоне 15 тонов и загрузили их в алгоритм, для предварительного вычисления новых звуков. На выходе получилось более 100 000 звуков, которые и были загружены в экспериментальный прототип нейронного синтезатора.

 

 

 

 

Каждому циферблату присвоили четыре источника звука. Используя циферблаты, музыканты могли выбирать источники, и перемещаться с помощью сенсорного экрана по новым звукам, которые совмещают акустические качества из четырех звуковых источников.

 

NSynth Super можно воспроизводить через любой MIDI-источник, например, DAW, секвенсор или клавиатуру. Версия с открытым исходным кодом прототипа NSynth Super, со всеми исходными текстами, схемами и шаблонами дизайна, доступна для загрузки на GitHub. А здесь можно самостоятельно испробовать нейронный синтезатор онлайн:

 

https://experiments.withgoogle.com/ai/sound-maker/view/