Sincronización labial con IA

La sincronización labial con IA convierte una imagen fija y un clip de audio en un vídeo del sujeto hablando o cantando ese audio. El modelo escucha el sonido, calcula la forma de la boca que necesita cada sílaba y anima el rostro para que coincida, con los pequeños movimientos de cabeza y las expresiones que hacen que el habla parezca real y no una boca que se mueve sobre una foto.

La app Lipsync de Mage lo hace a partir de una sola imagen. Sube una foto o elige un personaje guardado, añade una línea de voz, una canción o una narración de hasta 15 segundos y elige un modelo de vídeo. El sujeto conserva el aspecto, el encuadre, la iluminación y el entorno de tu imagen mientras la cámara se mantiene fija en él. Puedes añadir una breve indicación de escena, como un fondo nuevo o un ambiente, y Mage la aplica después de su propia instrucción de sincronización labial.

Está pensada para creadores que ya tienen el audio: una locución para un clip de producto, una frase doblada a otro idioma, una cita de un pódcast, una estrofa de una canción. Si aún necesitas la voz, créala primero con Seed Audio y tráela aquí. Si la persona solo debe hablar, Lipsync es la herramienta. Si debe actuar, con movimientos de cámara y baile, la app Music Video es la mejor opción.

El audio decide la mayor parte del resultado. Una grabación limpia, con una sola voz, sin música de fondo y sin eco de sala, le da al modelo sílabas claras que seguir. La música de fondo y las voces superpuestas desdibujan las consonantes con las que se construyen las formas de la boca, así que recorta el clip a la frase que necesitas y quita el silencio del principio, porque la cara espera mientras no se dice nada.

La imagen decide el resto. Una cara que ocupe buena parte del encuadre, que mire más o menos hacia la cámara y tenga la boca despejada le da margen al modelo para trabajar. Las manos sobre la boca, los perfiles laterales marcados y las caras muy pequeñas en un plano general son los motivos habituales de que un clip se vea raro. Si partes de un retrato generado, hazlo con la boca cerrada o relajada, para que los primeros fotogramas no empiecen a media palabra.

• Recorta el audio a la frase exacta, con un máximo de 15 segundos
• Usa una sola voz clara, sin música de fondo
• Elige una foto de frente con la boca visible
• Mantén las direcciones de escena breves: un lugar, un vestuario o un ambiente
• Prueba con un segundo modelo antes de reescribir nada

Cada ejecución de Lipsync admite hasta 15 segundos de audio. Para una locución completa o una canción más larga, divide el audio en pausas naturales en fragmentos de 15 segundos o menos y sincroniza cada uno con la misma foto o el mismo personaje guardado. Un personaje guardado mantiene la cara idéntica de un segmento a otro, y eso es lo que hace que los cortes pasen desapercibidos.

Cuando los segmentos estén listos, ordénalos en Storyboard, que coloca hasta seis clips guardados en orden y los exporta, con su sonido, como un único MP4. ¿Empiezas desde un retrato en blanco? La guía de foto parlante con IA explica cómo escribir la línea de voz y también cómo animar la cara.

La sincronización labial es una forma práctica de doblar un clip corto. Graba o genera la frase en el nuevo idioma, mantén una interpretación cercana al ritmo original y aplícala a una imagen fija de alguien cuyo uso tengas permitido. Como la boca se anima a partir del nuevo audio, los labios siguen las palabras traducidas y no las originales.

Para un narrador recurrente o un personaje que habla a lo largo de una serie, crea la cara una sola vez con el generador de personajes con IA y luego añade planos en movimiento entre los que hablan con imagen a vídeo con IA. Para una actuación cantada con movimientos de cámara, el generador de videoclips musicales con IA está pensado justo para eso.