Нейросеть для танцевальных видео

Нейросеть для танцевальных видео заставляет человека или персонажа танцевать без съёмок. Сложнее всего хореография: промпт «танцует» обычно даёт банальное покачивание, а в настоящем номере есть тайминг, работа ног и руки, попадающие в ритм. Надёжный способ получить настоящие движения — скопировать их из ролика, где кто-то танцует.

Именно это делает Motion Control в Mage. Добавьте видео с движением длиной от 3 до 30 секунд из Motion Library или собственную загрузку в MP4, MOV или WebM, затем добавьте танцора в виде изображения, где видны лицо и тело, или выберите сохранённого персонажа. Motion Control применит движение к вашему персонажу, и он исполнит номер, сохранив свой облик.

Если нужно танцевать под музыку, а не повторять номер, приложение Music Video снимает от одного до трёх сохранённых персонажей, которые поют и танцуют в такт треку, а в Scene Builder есть пресет Dance Battle для двух персонажей. Используйте Motion Control, когда важны точные движения, и Music Video, когда важна песня.

Ролик с движением — это и есть хореография, поэтому выбирайте его так, как выбрал бы танцор. Лучше всего переносится движение, если в кадре один исполнитель целиком, с головы до ног, фон простой, а камера почти не двигается. Если вокруг толпа, люди проходят перед танцором, а камера быстро вращается, нейросети сложнее понять, кто и как двигается.

Длина влияет и на цену, и на тариф. Ролики могут длиться от 3 до 30 секунд, а участники Max получают безлимитный Motion Control для роликов до 8 секунд; всё, что длиннее, и все ролики на других тарифах оплачиваются Gems. Яркий отрывок на 6–8 секунд для ленты часто работает лучше, чем вся постановка.

• Один танцор, в кадре с головы до ног
• Неподвижная камера и простой фон
• Обрежьте до самых выразительных 6–8 секунд
• Подберите кадрирование изображения персонажа под ролик
• Используйте свои съёмки или ролики, на которые у вас есть права

Если в танце задействовано всё тело, на изображении персонажа оно должно быть видно целиком: по портрету до плеч Motion Control не поймёт, куда «поставить» ноги. Простая облегающая одежда в движении читается лучше, чем длинные пальто или плащи, а нейтральная стоячая поза — лучший старт, чем поза, застывшая посреди движения.

Сохранённые персонажи сохраняют внешность танцора одинаковой в нескольких роликах. Создайте персонажа с помощью нейросети для создания персонажей или сначала смените его одежду с помощью нейросети для подбора одежды, а затем перенесите его в Motion Control.

Если хотите, чтобы персонажи танцевали под конкретную песню, используйте нейросеть для создания музыкальных клипов. Она принимает от одного до трёх сохранённых персонажей и до 15 секунд аудио и снимает, как они выступают синхронно с треком, вместе с работой камеры. Движения генерируются, а не копируются, поэтому это подходит скорее для выступления, чем для точной постановки.

Для двух персонажей, соревнующихся друг с другом, в Scene Builder есть пресет Dance Battle: добавьте изображение каждого танцора, выберите пресет или напишите своё описание и выберите модель видео. Это быстрый способ устроить дуэль на неоновом танцполе или дружеский баттл на вечеринке.