AI Lip Sync

AI-lipsync maakt van een stilstaande afbeelding en een audioclip een video waarin het onderwerp die audio spreekt of zingt. Het model luistert naar het geluid, bepaalt welke mondvorm elke lettergreep nodig heeft en animeert het gezicht daarop, met de kleine hoofdbewegingen en expressies die spraak echt laten lijken in plaats van een mond die op een foto klappert.

De Lipsync-app van Mage doet dit met één afbeelding. Upload een foto of kies een opgeslagen personage, voeg een stemlijn, een lied of een voice-over van maximaal 15 seconden toe en kies een videomodel. Het onderwerp behoudt de look, compositie, belichting en omgeving van je afbeelding, terwijl de camera rustig op het onderwerp gericht blijft. Je kunt een korte scèneaanwijzing toevoegen, zoals een nieuwe achtergrond of sfeer, en Mage past die toe na de eigen lipsync-instructie.

Het is gemaakt voor makers die de audio al hebben: een voice-over voor een productclip, een nagesynchroniseerde zin in een andere taal, een podcastcitaat, een couplet van een lied. Heb je de stem zelf nog nodig, maak die dan eerst met Seed Audio en breng hem over. Moet de persoon alleen praten, dan is Lipsync de tool. Moet hij of zij optreden, met camerabewegingen en dans, dan past de Music Video-app beter.

De audio bepaalt het grootste deel van het resultaat. Een droge opname met één stem, zonder muziek eronder en zonder galm geeft het model duidelijke lettergrepen om te volgen. Achtergrondmuziek en door elkaar pratende stemmen maken de medeklinkers waaruit mondvormen zijn opgebouwd onduidelijk. Knip de clip dus bij tot de regel die je nodig hebt en haal de stilte aan het begin weg, want het gezicht wacht zolang er niets gezegd wordt.

De afbeelding bepaalt de rest. Een gezicht dat een flink deel van het beeld vult, ongeveer naar de camera kijkt en een vrije mond heeft, geeft het model ruimte om te werken. Handen voor de mond, scherpe zijprofielen en heel kleine gezichten in een brede shot zijn de gebruikelijke redenen dat een clip er niet goed uitziet. Begin je met een gegenereerd portret, maak het dan met een gesloten of ontspannen mond, zodat de eerste beelden niet midden in een woord beginnen.

• Knip de audio bij tot de exacte regel, maximaal 15 seconden
• Gebruik één duidelijke stem zonder muziek eronder
• Kies een foto van voren met zichtbare mond
• Houd scèneregie kort: een plek, een outfit of een sfeer
• Probeer een tweede model voordat je iets herschrijft

Elke Lipsync-run verwerkt maximaal 15 seconden audio. Splits een volledige voice-over of een langer nummer bij natuurlijke pauzes in stukken van maximaal 15 seconden en synchroniseer elk stuk met dezelfde foto of hetzelfde opgeslagen personage. Een opgeslagen personage houdt het gezicht van fragment tot fragment identiek, en dat maakt de overgangen onzichtbaar.

Zijn de fragmenten klaar, zet ze dan op een rij in Storyboard, waarmee je tot zes opgeslagen clips op volgorde zet en met geluid als één MP4 exporteert. Begin je liever vanaf een blanco portret? De gids voor pratende AI-foto's laat zien hoe je de stemtekst schrijft en het gezicht animeert.

Lipsync is een handige manier om een korte clip na te synchroniseren. Neem de regel op of genereer hem in de nieuwe taal, houd het tempo dicht bij het origineel en draai hem over een still van een spreker van wie je de foto mag gebruiken. Omdat de mond wordt geanimeerd op basis van de nieuwe audio, volgen de lippen de vertaalde woorden in plaats van de originele.

Heb je een terugkerende verteller of een personage dat in een hele serie praat? Bouw het gezicht dan één keer met de AI-personagegenerator en voeg tussen de pratende shots bewegende shots toe met AI-afbeelding naar video. Voor een gezongen optreden met camerabewegingen is de AI-muziekvideogenerator precies daarvoor gemaakt.