ШІ-перекладач відео

ШІ-перекладач відео бере відео однією мовою і перетворює його на відео іншою: слова перекладено, є нова звукова доріжка цільовою мовою, а в ідеалі ще й рот мовця рухається відповідно до нових слів. Повноцінні сервіси дубляжу роблять усе це після одного завантаження. У Mage голос і губи роблять окремі інструменти, які ви контролюєте. Це краще підходить для коротких роликів, як-от реклама, вступи й відео з персонажами, ніж для багатогодинних записів.

Ось як розподілено роботу. Mage не розшифровує ваше відео, не перекладає його самостійно й не додає субтитри. Сценарій новою мовою пишете ви, перекладач або ваш ШІ-асистент. Далі Eleven Speech озвучує його понад 90 мовами, а Lipsync анімує кадр із мовцем (чіткий стоп-кадр із вашого відео або збережений персонаж), щоб губи рухалися за новим аудіо, до 15 секунд на ролик.

У результаті ви отримуєте новий ролик, у якому герой говорить, створений із цього кадру, а не оригінальне відео зі зміненим ротом. Тому жести мовця й рухи камери з оригіналу не зберігаються. Якщо в кадрі немає мовця, синхронізація губ взагалі не потрібна: накладіть новий голос на оригінальне зображення у своєму редакторі. А текст усередині рекламних зображень на місці замінює навичка Ad Localizer.

Автоматично в Mage: Eleven Speech перетворює написаний сценарій на мовлення тією мовою, якою ви його написали, а темп та емоції можна задавати тегами, як-от [whispers] або [laughs]. Lipsync перетворює одне зображення й до 15 секунд аудіо на відео, де персонаж вимовляє цей текст із природною мімікою та легкими рухами голови. Навичка Ad Localizer у вашому асистенті розпізнає текст у статичній рекламі, просить асистента його перекласти й після вашого схвалення замінює кожен рядок тим самим шрифтом, розміром і в тому самому місці.

Не автоматично: розшифровка оригінального мовлення, переклад діалогів, підгонка тривалості нової репліки під оригінал, збереження власного голосу мовця, відокремлення музики від голосу та субтитри. У Mage немає розпізнавання мовлення, автоматичного дубляжу чи інструмента для субтитрів. Крім того, Lipsync створює новий ролик зі стоп-кадру, тож не зберігає рухи, монтажні склейки чи інших людей із оригінального відео.

• Автоматично: голос за вашим сценарієм понад 90 мовами.
• Автоматично: губи синхронізуються з новим аудіо за одним зображенням.
• Автоматично: текст на рекламних зображеннях замінюється після вашого схвалення.
• Ваше: розшифровка, переклад і фінальна перевірка.
• Недоступно: субтитри чи нові губи на оригінальному відео.

Сценарій для дубляжу — це не файл субтитрів. Його потрібно проговорити приблизно за той самий час, що й оригінал, тож перекладайте з урахуванням і змісту, і довжини. Німецькою та французькою текст часто виходить довшим, ніж англійською, а японською та китайською — коротшим; краще скоротіть репліку, ніж прискорюйте голос. Назви брендів і продуктів залишайте як є, а числа, дати й ціни записуйте так, як їх сказав би місцевий мовець.

Якщо ви працюєте в Claude, ChatGPT або іншому асистенті, до якого підключено Mage, асистент може підготувати переклад і показати його рядок за рядком, перш ніж щось озвучувати. Цей переклад — робота асистента, а не функція Mage, тож для матеріалів, які побачать клієнти, дай його перевірити носієві мови. Потім розбий сценарій на природних паузах на частини до 15 секунд — це довжина одного кліпу Lipsync.

Використовуй Eleven Speech для більшості перекладів. Обери один із 16 голосів, який пасує до віку й енергії мовця, напиши сценарій цільовою мовою та керуй озвученням за допомогою аудіотегів у квадратних дужках. MP3 за тривалістю точно збігається зі сценарієм, до 5 000 символів на запит, тож тишу обрізати не доведеться. Гайд ШІ-озвучення тексту докладно розповідає про голоси й теги.

Eleven Speech говорить лише своїми готовими голосами. Якщо нова доріжка має звучати як оригінальний мовець, Seed Audio може спиратися на голос щонайбільше з трьох аудіореференсів — використовуй лише записи голосу, який тобі дозволено використовувати. Він створює аудіо фіксованої тривалості: 5, 10, 30, 60 або 120 секунд, тож перед повним сценарієм перевір таймінг і мову на короткій репліці. Гайд Клонування голосу зі ШІ докладніше розповідає, як підібрати схожий голос.

Клонувати власний голос для дубляжу — звичайна практика: наприклад, YouTube зараховує це до випадків використання ШІ, які не потребують позначки про змінений контент. Клонувати чужий голос — зовсім інша справа, і Mage забороняє імітувати реальну людину без її згоди.

Коли людина говорить у камеру, візьми з відео її найчіткіший кадр анфас, де видно рот — закритий або розслаблений, — і використай його як об’єкт у Lipsync. Додай перекладене аудіо до 15 секунд і обери модель: за замовчуванням це Plum, а Blueberry 2 анімує саме те зображення, яке ти завантажиш, тож зберігається вигляд початкового кадру. Кожен кліп — це нове виконання з цього стоп-кадру, а камера спокійно тримається на мовцеві.

Якщо мовець з’являється в серії відео, збережи його як персонажа, щоб обличчя лишалося однаковим в усіх мовах. Потім розклади кліпи в Storyboard, який об’єднує до шести кліпів в один MP4 разом зі звуком. Гайд Фото, що говорить, зі ШІ докладно розповідає, як вибрати кадр, який добре анімується.

Коли в кадрі ніхто не говорить — як-от в оповідному поясненні, демо продукту чи записі екрана, — синхронізацію губ можна пропустити. Створи нову озвучку й заміни аудіодоріжку у відеоредакторі. Mage не вмикає новий голос в уже наявне відео.

• Обери кадр анфас, де видно рот.
• Роби кожен аудіофрагмент не довшим за 15 секунд.
• Зберігай мовця, який повторюється, як персонажа.
• Якщо в кадрі нікого немає, заміни аудіо в редакторі.

У статичній рекламі суть передає текст: заголовок, кнопка, пропозиція. Навичка Ad Localizer працює з ним у твоєму асистенті. Вона розпізнає кожен рядок, перекладає зі збереженням змісту й тону, коригує розриви рядків, формати чисел і макети з письмом справа наліво та показує тобі текст на затвердження. Потім замінює кожен рядок на зображенні за допомогою GPT Image 2.5 Flare, зберігаючи стиль шрифту, композицію, продукт і логотип, а назву бренду та текст на упаковці залишає без змін. Голосові доріжки у відео вона не перекладає. Знайдеш її на сторінці навичок Mage, а решту робочого процесу для реклами дивись у розділі ШІ-генератор реклами.