Нейросеть для музыкальных клипов

Нейросеть для музыкальных клипов превращает музыку в видео, где кто-то её исполняет. Она не просто оживляет одно лицо, а выстраивает целое выступление: губы певца попадают в вокал, тела движутся в ритме, а камера переключается и перемещается, как в настоящем клипе.

Приложение Music Video в Mage построено вокруг персонажей. Выберите от одного до трёх исполнителей из сохранённых персонажей, добавьте аудио до 15 секунд и при желании до трёх референсов для сцены, костюмов или реквизита. Mage снимет, как исполнители поют и танцуют в такт, с кинематографичной работой камеры — по умолчанию на Plum, а также на Plum Max, Lemon или одной из четырёх моделей Cherry.

Поскольку исполнители — это сохранённые персонажи, одни и те же лица появляются в каждом клипе, и серия коротких фрагментов ощущается как единое видео. Сделайте припев, затем куплет, затем бридж и расставьте их по порядку в Storyboard.

В каждый клип помещается до 15 секунд аудио, поэтому планируйте песню как монтажёр: вступление, куплет, припев, бридж, финальный припев. Обрежьте аудио в начале каждой части, сгенерируйте клип для каждой с теми же исполнителями и меняйте промпт, чтобы у каждой части были своя локация или свой ракурс. Припев на крыше и куплет в закусочной выглядят как настоящий монтаж.

Когда все части готовы, Storyboard выстраивает до шести сохранённых клипов по порядку и экспортирует один MP4 с их звуком в формате 9:16 или 16:9. Шесть клипов по 15 секунд — это полторы минуты, чего хватит для короткой версии большинства песен.

• Режьте аудио по границам частей, а не посреди слова
• Оставляйте одних и тех же исполнителей во всех частях
• Меняйте локацию или освещение в каждой части
• Добавляйте референсы, чтобы одежда не менялась
• Выбирайте 9:16 для коротких лент и 16:9 для широкоформатной версии

Исполнители — это сохранённые персонажи, поэтому их внешность задаётся ещё до работы в приложении. Создавайте каждого по чёткому портрету анфас. Если вы придумываете их с нуля, смотрите руководство про нейросеть для создания персонажей: там по шагам показано, как создать и сохранить персонажа. Приложение Character Sheet превращает одно изображение в виды спереди, сбоку и сзади — так можно быстро проверить дизайн, прежде чем персонаж выйдет на сцену.

Для группы держите стиль в одном ключе: одна палитра, одна эпоха, одни правила по одежде. Добавьте наряд или сцену как референс, а не описывайте их подробно — тогда клипы будут хорошо сочетаться друг с другом.

Если важнее всего вокал, крупный план одного исполнителя даёт самую точную синхронизацию. Для танцев лучше подходит более широкий кадр с пространством вокруг тел, а стиль движений можно назвать в промпте. Если дуэт поёт по очереди, лучше прямо указать в промпте, кто и когда поёт.

Если нужна хореография, скопированная с реального танцевального ролика, используйте Motion Control: он берёт движения из референсного видео. Оба способа описаны в руководстве про нейросеть для создания танцевальных видео, а в руководстве про нейросеть для создания музыки — как создать трек по промпту, если у вас его ещё нет.