KI Lip Sync

KI Lip Sync macht aus einem Standbild und einem Audio-Clip ein Video, in dem die Person dieses Audio spricht oder singt. Das Modell hört den Ton, ermittelt die Mundform, die jede Silbe braucht, und animiert das Gesicht passend dazu – mit den kleinen Kopfbewegungen und Ausdrücken, die Sprechen echt wirken lassen, statt wie einen Mund, der auf einem Foto klappert.

Die Lipsync-App von Mage schafft das mit nur einem Bild. Lade ein Foto hoch oder wähle eine gespeicherte Figur, füge eine Sprachzeile, einen Song oder eine Erzählung von bis zu 15 Sekunden hinzu und wähle ein Videomodell. Die Person behält Look, Bildausschnitt, Licht und Umgebung deines Bildes, während die Kamera ruhig auf sie gerichtet bleibt. Du kannst eine kurze Szenenanweisung ergänzen, etwa einen neuen Hintergrund oder eine Stimmung, und Mage wendet sie nach seiner eigenen Lip-Sync-Anweisung an.

Es ist für Creator gemacht, die das Audio schon haben: ein Voiceover für einen Produkt-Clip, eine synchronisierte Zeile in einer anderen Sprache, ein Podcast-Zitat, eine Strophe eines Songs. Wenn dir die Stimme selbst noch fehlt, erstelle sie zuerst mit Seed Audio und bring sie hierher. Soll die Person nur sprechen, ist Lipsync das richtige Tool. Soll sie performen, mit Kamerafahrten und Tanz, passt die Music Video App besser.

Das Audio entscheidet über den größten Teil des Ergebnisses. Eine trockene Aufnahme mit nur einer Stimme, ohne Musik im Hintergrund und ohne Raumhall gibt dem Modell klare Silben vor. Hintergrundmusik und durcheinanderredende Stimmen verwischen die Konsonanten, aus denen die Mundformen entstehen. Kürze den Clip daher auf die Zeile, die du brauchst, und schneide die Stille am Anfang weg, denn das Gesicht wartet, solange nichts gesagt wird.

Das Bild entscheidet über den Rest. Ein Gesicht, das einen großen Teil des Bildausschnitts füllt, ungefähr in die Kamera blickt und einen freien Mund hat, gibt dem Modell genug Spielraum. Hände vor dem Mund, strenge Seitenprofile und sehr kleine Gesichter in einer Totalen sind die üblichen Gründe, warum ein Clip nicht überzeugt. Wenn du von einem generierten Porträt ausgehst, erstelle es mit geschlossenem oder entspanntem Mund, damit die ersten Frames nicht mitten im Wort beginnen.

• Kürze das Audio auf die genaue Zeile, maximal 15 Sekunden
• Nutze eine klare Stimme ohne Hintergrundmusik
• Wähle ein frontales Foto mit sichtbarem Mund
• Halte Szenenanweisungen kurz: ein Ort, ein Outfit oder eine Stimmung
• Probiere erst ein zweites Modell aus, bevor du etwas umschreibst

Jeder Lipsync-Durchlauf verarbeitet bis zu 15 Sekunden Audio. Für einen kompletten Voiceover oder einen längeren Song teilst du das Audio an natürlichen Pausen in Stücke von höchstens 15 Sekunden und synchronisierst jedes Stück mit demselben Foto oder gespeicherten Charakter. Ein gespeicherter Charakter hält das Gesicht von Segment zu Segment identisch, und genau dadurch fallen die Schnitte nicht auf.

Sind die Segmente fertig, ordne sie in Storyboard an. Dort bringst du bis zu sechs gespeicherte Clips in die richtige Reihenfolge und exportierst sie samt Ton als ein MP4. Du startest stattdessen mit einem leeren Porträt? Der Leitfaden zu KI-sprechenden Fotos zeigt, wie du die Sprechzeile schreibst und das Gesicht animierst.

Lip-Sync ist eine praktische Möglichkeit, einen kurzen Clip zu synchronisieren. Nimm die Zeile in der neuen Sprache auf oder generiere sie, bleibe im Tempo nah am Original und lass sie mit einem Standbild einer Person laufen, die du verwenden darfst. Da der Mund anhand des neuen Audios animiert wird, folgen die Lippen den übersetzten Worten statt den ursprünglichen.

Für einen wiederkehrenden Erzähler oder eine Figur, die in einer Serie spricht, erstellst du das Gesicht einmal mit dem KI-Charakter-Generator, und ergänzt dann mit KI-Bild-zu-Video bewegte Einstellungen zwischen den Sprechszenen. Für einen Gesangsauftritt mit Kamerabewegungen ist der KI-Musikvideo-Generator genau dafür gemacht.