Traductor de video con IA

Un traductor de video con IA toma un video en un idioma y lo entrega en otro: las palabras traducidas, una nueva pista de voz en el idioma de destino y, idealmente, un hablante cuya boca coincide con las nuevas palabras. Los servicios de doblaje completos hacen todo eso con una sola subida. Mage hace la voz y los labios con herramientas separadas que tú controlas, lo que encaja mejor con clips cortos como anuncios, intros y videos de personajes que con grabaciones de una hora.

Así se reparte el trabajo. Mage no transcribe tu video ni lo traduce por sí solo, y tampoco añade subtítulos. Tú, un traductor o tu asistente de IA escribís el guion en el nuevo idioma. Después, Eleven Speech lo lee en más de 90 idiomas y Lipsync anima una imagen fija del hablante, un fotograma nítido de tu video o un personaje guardado, para que sus labios sigan el nuevo audio, hasta 15 segundos por clip.

El resultado es un clip hablado nuevo creado a partir de ese fotograma, no tu material original con la boca sustituida, así que no se conservan los gestos del hablante ni los movimientos de cámara del original. Para una narración sin hablante visible no necesitas sincronizar labios: coloca la nueva voz sobre la imagen original en tu editor. Para el texto dentro de las imágenes de anuncios, la skill Ad Localizer lo reemplaza en el mismo sitio.

Automático en Mage: Eleven Speech convierte un guion escrito en voz en el idioma en que lo escribas, con un ritmo y una emoción que puedes dirigir con etiquetas como [whispers] o [laughs]. Lipsync convierte una imagen y hasta 15 segundos de audio en un video del sujeto diciéndolo, con expresiones naturales y un sutil movimiento de cabeza. La skill Ad Localizer, en tu asistente, transcribe el texto de un anuncio estático, hace que tu asistente lo traduzca y reemplaza cada línea con su tipografía, tamaño y posición una vez que apruebas el texto.

No es automático: transcribir el habla original, traducir el diálogo hablado, ajustar la duración de la nueva línea a la del original, conservar la voz propia del hablante original, separar la música de fondo de la voz y los subtítulos. Mage no tiene reconocimiento de voz, doblaje automático ni herramienta de subtítulos. Además, Lipsync crea un clip nuevo a partir de una imagen fija, por lo que no conserva el movimiento, los cortes ni a otras personas del plano del material original.

• Automático: la voz a partir de tu guion, en más de 90 idiomas.
• Automático: labios sincronizados con el nuevo audio, a partir de una imagen.
• Automático: el texto de los anuncios en la imagen se reemplaza tras tu aprobación.
• Tuyo: la transcripción, la traducción y la revisión final.
• No disponible: subtítulos ni labios nuevos sobre el material original.

Un guion de doblaje no es un archivo de subtítulos. Tiene que poder decirse en más o menos el mismo tiempo que el original, así que traduce pensando a la vez en el sentido y en la longitud. El alemán y el francés suelen ser más largos que el inglés, y el japonés y el chino suelen ser más cortos; acorta una línea en lugar de acelerar la voz. Deja los nombres de marcas y productos tal cual, y di los números, las fechas y los precios como los diría un hablante local.

Si trabajas en Claude, ChatGPT u otro asistente con Mage conectado, el asistente puede redactar la traducción y mostrártela línea por línea antes de generar ninguna voz. Esa traducción es trabajo del asistente, no una función de Mage, así que pide a un hablante nativo que la revise si es para clientes. Después divide el guion en pausas naturales, en fragmentos de 15 segundos o menos, que es la duración de un clip de Lipsync.

Usa Eleven Speech para la mayoría de las traducciones. Elige una de sus 16 voces que encaje con la edad y la energía de quien habla, escribe el guion en el idioma de destino y dirige la lectura con etiquetas de audio entre corchetes. El MP3 dura exactamente lo que el guion, hasta 5000 caracteres por solicitud, así que no hay silencios que recortar. La guía de texto a voz con IA explica las voces y las etiquetas en detalle.

Eleven Speech solo habla con sus voces predefinidas. Si quieres que la nueva pista suene como la persona original, Seed Audio puede guiar una voz con hasta tres referencias de audio, usando solo grabaciones de una voz que tengas permiso para usar. Genera duraciones fijas de 5, 10, 30, 60 o 120 segundos, así que comprueba el tiempo y el idioma con una frase corta antes de lanzar un guion completo. La guía de clonación de voz con IA explica con más detalle cómo igualar una voz.

Clonar tu propia voz para un doblaje es una práctica habitual: YouTube, por ejemplo, lo incluye entre los usos de la IA que no requieren avisar de contenido alterado. Clonar la voz de otra persona es otra cosa, y Mage no permite imitar a una persona real sin su consentimiento.

Cuando una persona habla a cámara, toma del video el fotograma frontal más nítido, con la boca visible y cerrada o relajada, y úsalo como sujeto en Lipsync. Añade el audio traducido, de hasta 15 segundos, y elige un modelo: Plum es el predeterminado, y Blueberry 2 anima exactamente la imagen que le das, lo que conserva el aspecto del fotograma original. Cada clip es una interpretación nueva a partir de esa imagen fija, con la cámara estable sobre quien habla.

Si la persona aparece en toda una serie, guárdala como personaje para que el rostro sea idéntico en todos los idiomas. Luego ordena los clips en Storyboard, que une hasta seis en un solo MP4 con su sonido. La guía de foto parlante con IA explica cómo elegir un fotograma que se anime bien.

Cuando nadie habla a cámara, como en un video explicativo con narración, una demo de producto o una grabación de pantalla, omite la sincronización labial. Genera la nueva narración y sustituye la pista de audio en tu editor de video. Mage no mezcla una voz nueva en un video existente por ti.

• Elige un fotograma frontal con la boca visible.
• Mantén cada fragmento de audio en 15 segundos o menos.
• Guarda como personaje a quien aparezca con frecuencia.
• Sustituye el audio en un editor cuando no haya nadie a cámara.

Los anuncios estáticos llevan su mensaje en el texto: el titular, el botón, la oferta. La skill Ad Localizer se encarga de eso en tu asistente. Transcribe cada línea, traduce según el sentido y el tono, ajusta los saltos de línea, los formatos de número y los diseños de derecha a izquierda, y te muestra el texto para que lo apruebes. Después sustituye cada línea en la imagen con GPT Image 2.5 Flare, conservando el estilo de la fuente, el diseño, el producto y el logotipo, y deja tal cual el nombre de la marca y el texto del envase. No traduce locuciones de video. Encuéntrala en la página de skills de Mage y consulta el generador de anuncios con IA para ver el resto del flujo de trabajo de anuncios.