Нейросеть для перевода видео

Нейросеть для перевода видео берёт ролик на одном языке и превращает его в ролик на другом: переводит слова, создаёт новую звуковую дорожку на нужном языке и, в идеале, подгоняет движение губ спикера под новый текст. Сервисы полного дубляжа делают всё это после одной загрузки. В Mage голос и губы делаются отдельными инструментами, которыми вы управляете. Это лучше подходит для коротких клипов — рекламы, интро, видео с персонажами, — чем для часовых записей.

Вот как распределены задачи. Mage не расшифровывает ваше видео, не переводит его сам и не добавляет субтитры. Сценарий на новом языке пишете вы, переводчик или ваш ИИ-ассистент. Затем Eleven Speech озвучивает его на более чем 90 языках, а Lipsync оживляет статичный кадр со спикером — чёткий кадр из вашего видео или сохранённого персонажа, — чтобы губы двигались под новое аудио. Длина одного клипа — до 15 секунд.

В результате получается новый говорящий клип, созданный из этого кадра, а не ваша исходная съёмка с заменённым ртом, поэтому жесты спикера и движения камеры оригинала не сохраняются. Если в кадре нет говорящего человека, синхронизация губ не нужна: просто наложите новый голос на исходную картинку в редакторе. Текст внутри рекламных изображений заменяет навык Ad Localizer прямо на месте.

Автоматически в Mage: Eleven Speech превращает написанный сценарий в речь на том языке, на котором он написан; темпом и эмоциями можно управлять с помощью тегов вроде [whispers] или [laughs]. Lipsync превращает одно изображение и до 15 секунд аудио в видео, где персонаж произносит этот текст, с естественной мимикой и лёгкими движениями головы. Навык Ad Localizer в вашем ассистенте расшифровывает текст в статичной рекламе, просит ассистента перевести его и после вашего одобрения заменяет каждую строку тем же шрифтом, размером и в том же месте.

Не автоматически: расшифровка исходной речи, перевод диалогов, подгонка длительности новых реплик под оригинал, сохранение собственного голоса исходного спикера, отделение музыки от голоса и субтитры. В Mage нет распознавания речи, автоматического дубляжа и инструмента для субтитров. Кроме того, Lipsync создаёт новый клип из статичного кадра, поэтому движение, монтажные склейки и другие люди из исходной съёмки не сохраняются.

• Автоматически: голос по вашему сценарию на более чем 90 языках.
• Автоматически: губы синхронизируются с новым аудио по одному изображению.
• Автоматически: текст на рекламных изображениях заменяется после вашего одобрения.
• За вами: расшифровка, перевод и финальная проверка.
• Недоступно: субтитры и новые губы на исходной съёмке.

Сценарий для дубляжа — это не файл субтитров. Его нужно произнести примерно за то же время, что и оригинал, поэтому переводите, учитывая и смысл, и длину. Немецкий и французский часто получаются длиннее английского, а японский и китайский — короче; лучше сократить фразу, чем ускорять голос. Названия брендов и продуктов оставляйте как есть, а числа, даты и цены произносите так, как сказал бы местный житель.

Если вы работаете в Claude, ChatGPT или другом ассистенте с подключённым Mage, ассистент подготовит перевод и покажет его построчно, прежде чем что-либо будет озвучено. Этот перевод — работа ассистента, а не функция Mage, поэтому если текст предназначен для клиентов, дайте его проверить носителю языка. Затем разбейте сценарий по естественным паузам на фрагменты не длиннее 15 секунд — это длина одного клипа в Lipsync.

Для большинства переводов используйте Eleven Speech. Выберите один из 16 голосов, подходящий по возрасту и энергетике говорящего, напишите сценарий на целевом языке и управляйте подачей с помощью аудиотегов в квадратных скобках. MP3 получается ровно той длины, что и сценарий, до 5 000 символов за запрос, так что обрезать тишину не придётся. О голосах и тегах подробно рассказано в материале про озвучку текста нейросетью.

Eleven Speech говорит только готовыми голосами. Если новая дорожка должна звучать как оригинальный диктор, Seed Audio может ориентироваться на голос по трём аудиореференсам — используйте только записи голоса, который вам разрешено использовать. Он создаёт записи фиксированной длины: 5, 10, 30, 60 или 120 секунд, поэтому перед полным сценарием проверьте тайминг и язык на короткой реплике. О том, как подобрать похожий голос, подробнее в материале про клонирование голоса нейросетью.

Клонировать собственный голос для дубляжа — обычная практика: например, YouTube включает это в список случаев использования ИИ, для которых не нужно помечать контент как изменённый. Клонировать чужой голос — совсем другое дело, и Mage не разрешает имитировать реального человека без его согласия.

Если человек говорит в камеру, возьмите из видео самый чёткий кадр анфас, где виден рот (закрытый или расслабленный), и используйте его как героя в Lipsync. Добавьте переведённое аудио длиной до 15 секунд и выберите модель: по умолчанию используется Plum, а Blueberry 2 анимирует именно то изображение, которое вы загрузили, сохраняя вид исходного кадра. Каждый клип — это новое выступление по этому стоп-кадру, при этом камера остаётся неподвижной и держит говорящего в фокусе.

Если говорящий появляется в серии роликов, сохраните его как персонажа, чтобы лицо оставалось одинаковым на всех языках. Затем выстройте клипы в Storyboard, где до шести клипов соединяются в один MP4 со звуком. О том, как выбрать кадр, который хорошо анимируется, читайте в материале про говорящие фото с ИИ.

Если в кадре никто не говорит — например, в ролике с закадровым голосом, демонстрации продукта или записи экрана, — синхронизацию губ можно пропустить. Сгенерируйте новую озвучку и замените звуковую дорожку в видеоредакторе. Mage не встраивает новый голос в готовое видео.

• Выберите кадр анфас, где виден рот.
• Делайте каждый аудиофрагмент не длиннее 15 секунд.
• Сохраняйте постоянного говорящего как персонажа.
• Если в кадре никого нет, замените аудио в редакторе.

В статичной рекламе вся суть заключена в тексте: заголовок, кнопка, предложение. С ними работает навык Ad Localizer в вашем ассистенте. Он распознаёт каждую строку, переводит с учётом смысла и тона, корректирует переносы строк, форматы чисел и раскладку для языков с письмом справа налево и показывает вам текст на утверждение. Затем он заменяет каждую строку на изображении с помощью GPT Image 2.5 Flare, сохраняя стиль шрифта, композицию, продукт и логотип, а название бренда и текст на упаковке оставляет без изменений. Озвучку в видео он не переводит. Найти его можно на странице навыков Mage, а об остальных этапах работы с рекламой читайте в материале про нейросеть для создания рекламы.