Нейросеть для создания музыки

Нейросеть для создания музыки сочиняет аудио по описанию. Вместо того чтобы искать в стоковой библиотеке что-нибудь похожее, вы описываете нужный трек — например, лоу-фай бит в медленном темпе с неровным звуком пианино и треском винила — и модель создаёт новую композицию.

В Mage для этого работает модель Seed Audio. Один промпт может дать музыку, звуковые эффекты, голоса или диалоги, а MP3 приходит ровно той длины, которую вы выбрали: 5, 10, 30, 60 или 120 секунд. Для видео это важно: трек, который заканчивается ровно на склейке, ценнее более длинного, который приходится обрезать.

Поскольку Mage делает ещё и видео, треку не нужно далеко «путешествовать». Приложение Music Video превращает трек длиной до 15 секунд в выступление ваших сохранённых персонажей, а видеомодели вроде Cherry, Plum, Lemon, Blueberry и MiniMax-H3 могут использовать аудио, загруженное на странице «Аудио», как референс.

Чем больше промпт похож на техзадание композитору, тем лучше результат. Укажите пять вещей: жанр или стиль, темп или энергетику, ведущие инструменты, настроение и развитие во времени. Запрос «Бодрый синти-поп в быстром темпе, чёткие барабаны, яркие арпеджио синтезаторов, тёплый бас, оптимистичное настроение, нарастает в первой половине и выходит на мощный припев в середине» даёт Seed Audio не просто атмосферу, а структуру.

Развитие важнее всего в коротких клипах. Для джингла на 10 секунд попросите быстрое нарастание и чёткое завершение. Для фона на 30 секунд под закадровый голос — что-то ровное и ненавязчивое, без резких перепадов. Для лупа — устойчивый грув без финала, чтобы он звучал под сценой, которая длится дольше трека.

• Сначала назовите жанр, затем темп
• Перечислите два-три ведущих инструмента
• Опишите настроение сценой: «ночная поездка», «пробежка на рассвете»
• Скажите, как трек начинается и заканчивается
• Для закадрового текста просите инструментальный фон

Seed Audio создаёт не только музыку. Описывайте звук так, как это сделал бы звукорежиссёр: источник, пространство и расстояние. «Сильный дождь по жестяной крыше, далёкий гром, внутри маленькой хижины» или «толпа на стадионе нарастает до рёва, затем аплодисменты» — каждый такой запрос вернётся клипом, который можно наложить на видео. Для одного эффекта обычно хватает пяти-десяти секунд, для фона атмосферы — тридцати или шестидесяти.

Если нужна речь поверх музыки, создайте голос отдельно, чтобы сбалансировать громкость. Для этого есть нейросеть для озвучки: она читает закадровый текст и говорит голосами персонажей.

Приложение Music Video берёт трек длиной до 15 секунд, от одного до трёх исполнителей (это должны быть сохранённые персонажи) и до трёх референсных изображений, а затем заставляет их исполнять этот трек с помощью Plum, Plum Max, Lemon или модели Cherry. Создайте для этого трек на 10 секунд или обрежьте более длинный перед загрузкой. Подробный разбор — на странице нейросети для создания музыкальных клипов, а также нейросеть для танцевальных видео рассказывает, как перенести танец на персонажа.