«Дабл Ю Экспо» создала нейросеть для сочинения музыки

Инженеры пермской компании «Дабл Ю Экспо» представили открытую нейросеть для создания музыки. Новая технология на базе искусственного интеллекта (ИИ) генерирует музыкальные произведения в современных жанрах, создаёт тексты песен и настраивает композиции под вкусы целевой аудитории.

Нейросети позволяют генерировать музыку с минимальными усилиями. Вместо композитора музыку создаёт искусственный интеллект (ИИ). В зависимости от принципа работы программы для генерации музыки можно условно поделить на три группы:
По шаблонам – ИИ обучается на загруженных композициях, а сам трек генерируется на основе текстового описания пользователя. Такие сервисы способны создавать полноценную музыку с голосом и любыми спецэффектами.
По нотам – ИИ создаёт музыкальные композиции в виде символов в определённой последовательности. В результате генерации получается партитура (последовательность нот и аккордов, по которым потом воспроизводится мелодия).
По загруженному треку – ИИ разделяет дорожки, миксует отдельные отрывки, добавляет спецэффекты. Позволяет создать полноценный аудиофайл, но качество сильно зависит от уровня обучения.

Сгенерированный с помощью нейросети аудиофайл не защищён авторскими правами. При использовании такой музыки в коммерческих целях нужно проверять, на каких музыкальных произведениях обучалась нейросеть:

• Обученную нейросеть на треках с истёкшим сроком действия авторских прав, можно использовать по своему усмотрению. В России авторские права автоматически истекают через 70 лет после смерти автора.
• На использование музыкальных произведений, созданных нейросетью, которую обучали на треках с действующими авторскими правами, – авторы или их наследники могут подать в суд за нарушение авторских прав и плагиат. Если сгенерированную музыку признают плагиатом, пользователю могут дать штраф за нарушение авторских прав. Многие нейросети сами пишут о том, что созданную с их помощью музыку можно использовать в личных и коммерческих целях только авторизованным пользователям.

В мире и в России уже разработаны нейросетевых алгоритмов для генерации музыкальных композиций:

• Loudly. Сервис генерации, в котором можно наложить эффекты, смешать треки или создать мелодию с нуля. Среди важных ограничений – можно сгенерировать трек длительностью до 30 секунд. А смешать можно только 2 трека. На платной подписке можно генерировать треки длительностью до 7 минут.
• Mubert. Создаёт музыку по тексту: можно вставить ссылки на видео из YouTube. А также выбрать жанр и настроить микширование. При публикации сгенерированного бесплатного трека на сторонних площадках нужно указывать его первоисточник – оставлять ссылку на сайт Mubert.com. Бесплатные треки нельзя монетизировать или публиковать на стриминговых сервисах.
• Riffusion. Бесплатная нейросеть на основе Stable Diffusion, которая позволяет создавать песни из текстов. Можно описать характеристики композиции, инструменты и жанры, безлимитно генерировать разные звуки.
• Suno. Сервис может написать мелодию по текстовому запросу, придумать слова к песне или наоборот. Различает большинство популярных жанров и поддерживает русский язык. Бесплатно можно создать до 10 треков в день.
• Soundraw. Сервис позволяет создавать мелодии любого жанра. В Soundraw можно выбрать длительность (от 10 секунд до 5 минут), музыкальный стиль, настроение и темп. Есть встроенный микшер, который позволяет менять настройки сгенерированной композиции.
• Veed. это сервис с большим набором функций:
  • генерацией музыки и голоса;
  • созданием аватаров и изображений;
  • генерацией видео; 
  • редактированием аудио- и видеофайлов. 
• «Маэстро» от Сбера. генератор музыки, который помогает создавать треки прямо в приложении «Сбербанк Онлайн». У сервиса удобный интерфейс, а музыку можно генерировать за 5 минут.

По словам Екатерины Кокориной, исполнительного директора компании «Дабл Ю Экспо», созданная в их компании нейросеть значительно упрощает и ускоряет процесс создания музыкальных композиций, помогая анализировать данные и создавать оригинальные произведения. Она отметила, что компания ещё выбирает бизнес-модель для монетизации разработанного решения. Пока компания нацелена на предоставление услуг артистам и композиторам. По нашей оценки, такое решение должно заинтересовать в первую очередь рекламные агентства, благодаря которым разработка этого решения быстро окупится.

Особенностью технологии является возможность создания не только инструментальной, но и вокальной партии произведения. Это стало возможным благодаря использованию обширных библиотек данных, основанных на тысячах популярных произведений из ведущих музыкальных сервисов, а также на уникальном массиве баз данных диалогов, собранных в ходе общения с людьми по всему миру.