ШІ-синхронізація губ

ШІ-синхронізація губ перетворює статичне зображення й аудіозапис на відео, де персонаж говорить або співає цей звук. Модель слухає аудіо, визначає, яку форму рота потребує кожен склад, і анімує обличчя відповідно, з дрібними рухами голови та мімікою, завдяки яким мовлення виглядає справжнім, а не як рот, що смикається на фото.

Застосунок Lipsync від Mage робить це з однієї картинки. Завантаж фото або обери збереженого персонажа, додай репліку, пісню чи озвучення до 15 секунд і вибери відеомодель. Персонаж зберігає вигляд, кадрування, освітлення й обстановку твого зображення, а камера залишається нерухомою. Можна додати коротку режисерську вказівку, наприклад новий фон чи настрій, і Mage застосує її після власної інструкції для синхронізації губ.

Він створений для авторів, у яких уже є аудіо: озвучення для рекламного кліпу, репліка, дубльована іншою мовою, цитата з подкасту, куплет пісні. Якщо потрібно ще створити сам голос, спершу зроби його в Seed Audio і додай сюди. Якщо людина має лише говорити, підійде Lipsync. Якщо вона має виступати, з рухами камери й танцями, краще вибрати застосунок Music Video.

Більшість результату залежить від аудіо. Сухий запис з одним голосом, без музики на фоні й відлуння дає моделі чіткі склади, за якими можна орієнтуватися. Фонова музика й перемішані голоси розмивають приголосні, з яких складаються рухи рота, тож обріж запис до потрібної репліки та прибери тишу на початку: обличчя чекає, поки нічого не звучить.

Решта залежить від зображення. Обличчя, яке займає помітну частину кадру, дивиться приблизно в камеру й має відкритий рот, дає моделі простір для роботи. Руки перед ротом, різкий профіль і дуже маленькі обличчя на загальному плані — звичайні причини, чому кліп виглядає неприродно. Якщо починаєш зі згенерованого портрета, зроби його із закритим або розслабленим ротом, щоб перші кадри не починалися посеред слова.

• Обріж аудіо до потрібної репліки, не більше 15 секунд
• Використовуй один чіткий голос без музики на фоні
• Обери фото анфас із видимим ротом
• Пиши вказівки до сцени коротко: місце, вбрання чи настрій
• Спробуй другу модель, перш ніж щось переписувати

Кожен запуск Lipsync приймає до 15 секунд аудіо. Для повного озвучення чи довшої пісні розділи аудіо в природних паузах на частини до 15 секунд і синхронізуй кожну з тим самим фото або збереженим персонажем. Збережений персонаж зберігає однакове обличчя від сегмента до сегмента, завдяки чому склейки непомітні.

Коли сегменти готові, розташуй їх у Storyboard, де до шести збережених кліпів ставляться по порядку й експортуються зі звуком одним MP4. Починаєш із портрета, якого ще немає? У посібнику про ШІ-фото, що говорить розповідаємо, як написати текст для голосу та оживити обличчя.

Синхронізація губ — практичний спосіб здубилювати короткий кліп. Запиши або згенеруй репліку іншою мовою, зберігай темп, близький до оригіналу, і запусти її на кадрі зі спікером, якого ти маєш право використовувати. Оскільки рот анімується за новим аудіо, губи рухаються під перекладені слова, а не під оригінальні.

Для постійного оповідача чи персонажа, який говорить у всій серії, створи обличчя один раз у генераторі ШІ-персонажів, а потім додай динамічні кадри між розмовними за допомогою ШІ-перетворення зображень на відео. Для виконання пісні з рухами камери генератор музичних відео зі ШІ створений саме для цього.