Синхронизация губ нейросетью

Lip sync нейросетью превращает статичное изображение и аудиозапись в видео, где персонаж говорит или поёт под этот звук. Модель слушает аудио, определяет форму рта для каждого слога и анимирует лицо в такт, добавляя небольшие движения головы и мимику, благодаря которым речь выглядит настоящей, а не как рот, шевелящийся на фото.

Приложение Lipsync в Mage делает это по одной картинке. Загрузите фото или выберите сохранённого персонажа, добавьте реплику, песню или озвучку длиной до 15 секунд и выберите видеомодель. Персонаж сохраняет внешний вид, кадрирование, освещение и обстановку вашего изображения, а камера остаётся неподвижной. Можно добавить короткое описание сцены, например новый фон или настроение, и Mage применит его после собственной инструкции по синхронизации губ.

Оно создано для тех, у кого уже есть аудио: закадровый голос для рекламного ролика, реплика в дубляже на другом языке, цитата из подкаста, куплет песни. Если нужно сначала создать сам голос, сделайте его в Seed Audio и перенесите сюда. Если человек должен только говорить, подойдёт Lipsync. Если он должен выступать, с движением камеры и танцами, лучше выбрать приложение Music Video.

Большую часть результата определяет аудио. «Сухая» запись с одним голосом, без музыки и эха помещения даёт модели чёткие слоги, за которыми можно следить. Фоновая музыка и перекрёстные голоса размывают согласные, из которых строятся формы рта, поэтому обрежьте клип до нужной фразы и уберите тишину в начале: пока никто не говорит, лицо просто ждёт.

Остальное определяет изображение. Если лицо занимает заметную часть кадра, смотрит примерно в камеру, а рот ничем не закрыт, у модели есть простор для работы. Руки у рта, строгий профиль и очень мелкие лица на общем плане — частые причины неудачного клипа. Если вы начинаете со сгенерированного портрета, делайте его с закрытым или расслабленным ртом, чтобы первые кадры не начинались на середине слова.

• Обрежьте аудио до нужной фразы, максимум 15 секунд
• Используйте один чёткий голос без музыки на фоне
• Выбирайте фото анфас с видимым ртом
• Описывайте сцену коротко: место, наряд или настроение
• Прежде чем что-то переписывать, попробуйте вторую модель

Один запуск Lipsync принимает до 15 секунд аудио. Для полной озвучки или длинной песни разделите аудио в естественных паузах на фрагменты не длиннее 15 секунд и синхронизируйте каждый с одним и тем же фото или сохранённым персонажем. Сохранённый персонаж сохраняет одно и то же лицо от фрагмента к фрагменту, благодаря чему склейки незаметны.

Когда фрагменты готовы, соберите их в Storyboard, где до шести сохранённых клипов выстраиваются по порядку и экспортируются вместе со звуком в один MP4. Начинаете с нуля? В руководстве по говорящему фото с ИИ рассказано, как написать реплику и оживить лицо.

Синхронизация губ — удобный способ продублировать короткий клип. Запишите или сгенерируйте реплику на новом языке, сохраняя темп близким к оригиналу, и примените её к кадру с человеком, чьё изображение вы вправе использовать. Поскольку рот анимируется по новому аудио, губы следуют переведённым словам, а не исходным.

Для постоянного рассказчика или персонажа, который говорит на протяжении всей серии, создайте лицо один раз с помощью ИИ-генератора персонажей, а затем добавьте между говорящими кадрами динамичные сцены с помощью нейросети для создания видео из изображений. Для исполнения песни с движением камеры подойдёт ИИ-генератор музыкальных клипов — он создан именно для этого.