Как я заменил нейросетью музыкантов при записи альбома

Привет, друзья! Сегодня расскажу, как нейросети прямо сейчас, пока вы, куски мяса, читаете этот текст, заменяют живых музыкантов в студиях звукозаписи, позволяя DIY-музыкантам записывать полноценные альбомы, не выходя из дома и используя лишь компьютер с мощной видеокартой.

Где пруфы?

Пару дней назад я выпустил свой дебютный альбом #My_Zero ^[1]. Все треки записаны нейросетью без привлечения музыкантов. На вход нейросеть получила файлик Guitar Pro, где я прописал музыкальные партии, а также файл с текстами песен. На выходе – wav.  

Если послушаете треки, то кое-где можете заметить аномалии, например, лишние слоги, неверные ударения, кривые гармонии, странные шумы. Я не смог докрутить сетку, чтобы та идеально воспроизвела партии из GP. Железные мозги еще несовершенны. Но уже сейчас качество записи лучше, чем получилось бы, используй я студию и настоящие инструменты.

Как я пришёл к нейросетям для записи музыки? 

Я музыкант-любитель. Люблю побренчать на гитаре в свободное время, чисто для себя.

Периодически сочиняю музыку, оформляю ее в виде табов в Guitar Pro.

У меня совсем нет времени и сил играть в музыкальной группе, а также ввязываться в дорогостоящую и длительную историю с записью в студии. Мне чудовищно лень. 

Но мне нравится создавать музыку. Нейросети в этом смысле незаменимы. Они уже сегодня позволяют превратить ноты в звучащий инструмент или вокал. Таких сетей много, вы можете их легко нагуглить и выбрать подходящую сетку для жанра, в котором работаете.

Какие сложности есть с записью нейросетями?

Во-первых, надо разбираться в нейросетях и иметь мощный компьютер. Пока ещё техника на этапе, где нужно самому загуглить сеть, далее, возможно, придётся её обучить на треках, что нравятся лично вам. Потребуется python и GPU. 

Во-вторых, музыку писать надо самому. Ошибкой ^[2] будет доверить сочинительство нейросети. Нейросети не сочиняют музыку. Они могут сгенерировать средневзвешенное нечто, которое будет компиляцией штампов. Творчество ^[3] – это все еще удел людей. Используйте нейросети только для воспроизведения нот и аранжировок.

В-третьих, текущие сетки плохо справляются с воспроизведением сложной музыки. Прогрессив-рок? Экстремальный метал? Техничный рэп? Забудьте. Все доступные нейросети хорошо справляются с роком, поп-музыкой, простенькой электроникой, но выдают мусор, если трек сложный и содержит много нот или быстрый темп. Поэтому музыкант, который записывает музыку при помощи нейросетей, возможно, будет вынужден значительно упрощать мелодию и партии инструментов, чтобы снизить число аномалий в записи. Либо надо делать свою сеть, обучая её не сложных треках.

В-четвертых, нет возможности сгенерировать уникальный вокал. Запоминающийся голос – это половина успеха. Есть небольшой банк голосов, из которых можно выбрать. Голоса типичные. Кроме того, я не нашёл способа заставить нейросеть гроулить или читать рэп.

Что дальше?

Дальше я планирую сконцентрироваться на том, чтобы выпустить парочку своих сеток, которые смогут читать рэп.
А пока советую вслушиваться в треки, что вы слышите по радио. Кажется, мы идем на всех парах в мир, где студии звукозаписи и сессионные музыканты станут не нужны.