AI Lip Sync

AI lip sync promění statický obrázek a zvukovou nahrávku ve video, na kterém postava tento zvuk říká nebo zpívá. Model poslouchá zvuk, zjistí, jaký tvar úst každá slabika vyžaduje, a podle toho animuje obličej, včetně drobných pohybů hlavy a výrazů, díky nimž řeč vypadá věrohodně, a ne jako klapání pusy na fotce.

Aplikace Lipsync v Mage to zvládne z jediného obrázku. Nahraj fotku nebo vyber uloženou postavu, přidej hlasovou větu, písničku nebo komentář do 15 sekund a vyber video model. Postava si zachová vzhled, kompozici, osvětlení i prostředí tvého obrázku a kamera na ni zůstává klidně namířená. Můžeš přidat krátké scénické zadání, třeba nové pozadí nebo náladu, a Mage ho použije po vlastní instrukci pro lip sync.

Je určený tvůrcům, kteří už zvuk mají: voiceover k produktovému klipu, nadabovanou větu v jiném jazyce, citát z podcastu nebo sloku písničky. Pokud ti ještě chybí samotný hlas, vytvoř ho nejdřív v Seed Audio a přenes ho sem. Když má postava jen mluvit, použij Lipsync. Když má vystupovat, s pohyby kamery a tancem, hodí se víc aplikace Music Video.

Většinu výsledku určuje zvuk. Čistá nahrávka s jedním hlasem, bez hudby v pozadí a bez ozvěny místnosti dává modelu srozumitelné slabiky, podle kterých se může řídit. Hudba v pozadí a překřikování rozmazávají souhlásky, z nichž se tvoří tvary úst, proto klip zkrať na potřebnou větu a odstraň ticho na začátku, protože obličej čeká, dokud nic neřekneš.

Zbytek určuje obrázek. Obličej, který zabírá slušnou část záběru, hledí zhruba do kamery a má volná ústa, dává modelu prostor pracovat. Ruce přes ústa, ostrý profil a velmi malé obličeje v širokém záběru jsou obvyklé důvody, proč klip vypadá špatně. Pokud vycházíš z vygenerovaného portrétu, vytvoř ho se zavřenými nebo uvolněnými ústy, aby první snímky nezačínaly uprostřed slova.

• Zkrať zvuk na konkrétní větu, maximálně 15 sekund
• Použij jeden zřetelný hlas bez hudby v pozadí
• Vyber fotku zepředu s viditelnými ústy
• Scénická zadání piš krátce: místo, outfit nebo nálada
• Než cokoli přepíšeš, zkus druhý model

Jedno spuštění Lipsync zvládne až 15 sekund zvuku. U celého komentáře nebo delší písně rozděl zvuk na přirozených pauzách na části po nejvýše 15 sekundách a každou část synchronizuj se stejnou fotkou nebo uloženou postavou. Uložená postava zachová stejný obličej v každém segmentu, díky čemuž jsou střihy nepozorovatelné.

Až budou segmenty hotové, seřaď je v nástroji Storyboard, který do pořadí poskládá až šest uložených klipů a exportuje je i se zvukem jako jedno MP4. Začínáš místo toho od prázdného portrétu? Průvodce mluvící AI fotkou se věnuje psaní hlasového textu i oživení obličeje.

Lip sync je praktický způsob, jak nadabovat krátký klip. Nahraj nebo vygeneruj text v novém jazyce, drž se tempa originálu a spusť ho na snímku mluvčího, jehož podobu smíš použít. Protože se ústa animují podle nového zvuku, rty sledují přeložená slova, ne původní.

Pro stálého vypravěče nebo postavu, která mluví napříč sérií, vytvoř obličej jednou pomocí AI generátoru postav a mezi mluvené záběry pak přidej pohyblivé pomocí AI převodu obrázků na video. Pro zpívaný výstup s pohyby kamery je tu AI generátor hudebních videí, vytvořený přesně pro tohle.