Tradutor de vídeo com IA

Um tradutor de vídeo com IA pega um vídeo em um idioma e o entrega em outro: as palavras traduzidas, uma nova faixa de voz no idioma de destino e, de preferência, uma pessoa cuja boca acompanha as novas palavras. Serviços completos de dublagem fazem tudo isso a partir de um único upload. O Mage cuida da voz e dos lábios com ferramentas separadas que você controla, o que funciona melhor para clipes curtos, como anúncios, introduções e vídeos com personagens, do que para gravações de uma hora.

Veja como funciona a divisão. O Mage não transcreve nem traduz seu vídeo sozinho, e também não adiciona legendas. Você, um tradutor ou seu assistente de IA escreve o roteiro no novo idioma. Depois, o Eleven Speech lê o texto em mais de 90 idiomas e o Lipsync anima uma imagem parada da pessoa, um quadro nítido do seu vídeo ou um personagem salvo, para que os lábios acompanhem o novo áudio, com até 15 segundos por clipe.

O resultado é um novo clipe falado criado a partir desse quadro, e não a sua filmagem original com a boca substituída. Por isso, os gestos da pessoa e os movimentos de câmera do original não são mantidos. Para narração sem ninguém aparecendo, você nem precisa de sincronização labial: basta colocar a nova voz sobre a imagem original no seu editor. Para o texto dentro das imagens de anúncios, a skill Ad Localizer faz a troca diretamente no lugar.

Automático no Mage: o Eleven Speech transforma um roteiro escrito em fala no idioma em que você o escreve, com ritmo e emoção que você pode direcionar com tags como [whispers] ou [laughs]. O Lipsync transforma uma imagem e até 15 segundos de áudio em um vídeo da pessoa falando o texto, com expressões naturais e leves movimentos de cabeça. A skill Ad Localizer, no seu assistente, transcreve o texto de um anúncio estático, pede ao assistente que o traduza e substitui cada linha na mesma fonte, tamanho e posição depois que você aprova o texto.

Não é automático: transcrever a fala original, traduzir diálogos, ajustar o tempo da nova fala ao do original, manter a voz original da pessoa, separar a trilha musical da voz e criar legendas. O Mage não tem conversão de fala em texto, dublagem automática nem ferramenta de legendas. Além disso, o Lipsync cria um clipe novo a partir de uma imagem parada, então não mantém o movimento, os cortes nem as outras pessoas da filmagem original.

• Automático: a voz a partir do seu roteiro, em mais de 90 idiomas.
• Automático: lábios sincronizados com o novo áudio, a partir de uma imagem.
• Automático: texto do anúncio na imagem substituído após a sua aprovação.
• Com você: a transcrição, a tradução e a revisão final.
• Indisponível: legendas ou novos lábios na filmagem original.

Um roteiro de dublagem não é um arquivo de legendas. Ele precisa ser falado em um tempo parecido com o do original, então traduza pensando no sentido e na duração ao mesmo tempo. Alemão e francês costumam ficar mais longos que o inglês, e japonês e chinês costumam ficar mais curtos; encurte a frase em vez de acelerar a voz. Mantenha nomes de marcas e produtos como estão e diga números, datas e preços do jeito que um falante local diria.

Se você trabalha no Claude, no ChatGPT ou em outro assistente com o Mage conectado, o assistente pode redigir a tradução e mostrá-la linha por linha antes de qualquer locução. Essa tradução é trabalho do assistente, não um recurso do Mage, então peça a um falante nativo que revise tudo o que for voltado a clientes. Depois, divida o roteiro em pausas naturais, em trechos de até 15 segundos, a duração de um clipe do Lipsync.

Use o Eleven Speech na maioria das traduções. Escolha uma das 16 vozes que combine com a idade e a energia de quem fala, escreva o roteiro no idioma de destino e dirija a leitura com tags de áudio entre colchetes. O MP3 tem exatamente a duração do roteiro, com até 5.000 caracteres por solicitação, então não há silêncio para cortar. O guia de texto para fala com IA explica vozes e tags em detalhes.

O Eleven Speech fala apenas com suas vozes predefinidas. Quando a nova faixa precisa soar como a pessoa original, o Seed Audio pode guiar uma voz a partir de até três referências de áudio, usando apenas gravações de uma voz que você tem permissão para usar. Ele gera durações fixas de 5, 10, 30, 60 ou 120 segundos, então confira o tempo e o idioma em uma frase curta antes de usar o roteiro completo. O guia de clonagem de voz com IA explica com mais detalhes como combinar uma voz.

Clonar a própria voz para uma dublagem é uma prática comum: o YouTube, por exemplo, a inclui entre os usos de IA que não exigem aviso de conteúdo alterado. Clonar a voz de outra pessoa é outra história, e o Mage não permite imitar uma pessoa real sem o consentimento dela.

Quando uma pessoa fala para a câmera, pegue do vídeo o quadro frontal mais nítido dela, com a boca visível e fechada ou relaxada, e use-o como o sujeito no Lipsync. Adicione o áudio traduzido, de até 15 segundos, e escolha um modelo: o Plum é o padrão, e o Blueberry 2 anima exatamente a imagem que você enviar, mantendo o visual do quadro original. Cada clipe é uma nova performance a partir dessa imagem, com a câmera firme em quem fala.

Se a pessoa aparece em uma série, salve-a como personagem para que o rosto seja idêntico em todos os idiomas. Depois, organize os clipes no Storyboard, que junta até seis deles em um único MP4, com o som. O guia de foto falante com IA explica como escolher um quadro que anima bem.

Quando ninguém fala diante da câmera, como em um vídeo explicativo narrado, uma demonstração de produto ou uma gravação de tela, dispense a sincronia labial. Gere a nova narração e substitua a faixa de áudio no seu editor de vídeo. O Mage não mistura uma nova voz em um vídeo existente para você.

• Escolha um quadro frontal com a boca visível.
• Mantenha cada trecho de áudio com até 15 segundos.
• Salve quem aparece com frequência como personagem.
• Substitua o áudio em um editor quando ninguém aparece na câmera.

Anúncios estáticos levam a mensagem no texto: o título, o botão, a oferta. A skill Ad Localizer cuida disso no seu assistente. Ela transcreve cada linha, traduz pelo sentido e pelo tom, ajusta quebras de linha, formatos de número e layouts da direita para a esquerda, e mostra o texto para sua aprovação. Depois, substitui cada linha na imagem com o GPT Image 2.5 Flare, mantendo o estilo da fonte, o layout, o produto e o logotipo, e deixa o nome da marca e o texto da embalagem como estão. Ela não traduz locuções de vídeo. Encontre-a na página de skills do Mage e veja o gerador de anúncios com IA para o restante do fluxo de anúncios.