AI Lip Sync

Az AI lip sync egy állóképből és egy hangklipből videót készít, amelyen a szereplő beszéli vagy énekli azt a hangot. A modell meghallgatja a hangot, kiszámolja, milyen szájforma kell az egyes szótagokhoz, és ehhez igazítja az arc mozgását, apró fejmozdulatokkal és mimikával, amitől a beszéd valódinak hat, nem pedig egy fotón csapkodó szájnak.

A Mage Lipsync appja egyetlen képből dolgozik. Tölts fel egy fotót, vagy válassz egy mentett karaktert, add hozzá a hangfelvételt, dalt vagy narrációt (legfeljebb 15 másodpercet), és válassz egy videómodellt. A szereplő megtartja a képed megjelenését, kadrírozását, fényeit és környezetét, miközben a kamera stabilan rajta marad. Megadhatsz egy rövid jelenetleírást is, például új hátteret vagy hangulatot, amit a Mage a saját lip sync utasítása után alkalmaz.

Azoknak készült, akiknek már megvan a hangjuk: egy termékklip narrációja, egy más nyelvre szinkronizált mondat, egy podcast-idézet vagy egy dalszak. Ha még magára a hangra van szükséged, először készítsd el a Seed Audióval, és hozd át ide. Ha a szereplő csak beszéljen, a Lipsync a megfelelő eszköz. Ha előadjon, kameramozgással és tánccal, akkor a Music Video app illik jobban.

Az eredmény nagy részét a hang dönti el. Egy száraz felvétel egyetlen hanggal, háttérzene és visszhang nélkül tiszta szótagokat ad a modellnek, amelyeket követhet. A háttérzene és a egymásra beszélés elmossa a mássalhangzókat, amelyekből a szájformák épülnek, ezért vágd a klipet pontosan a kívánt mondatra, és told ki az elejéről a csendet, mert az arc addig vár, amíg nem hangzik el semmi.

A többit a kép dönti el. Ha az arc a képkocka jelentős részét kitölti, nagyjából a kamera felé néz, és a száj szabadon látszik, a modellnek van tere dolgozni. A szájat takaró kéz, a határozott oldalprofil és a totálképen nagyon kicsi arcok a leggyakoribb okai annak, hogy egy klip rosszul néz ki. Ha generált portréból indulsz ki, zárt vagy laza szájjal készítsd el, hogy az első képkockák ne egy szó közepén kezdődjenek.

• Vágd a hangot pontosan a kívánt mondatra, legfeljebb 15 másodpercre
• Egy tiszta hangot használj, háttérzene nélkül
• Válassz szemből készült fotót, jól látható szájjal
• A jelenetirányítás legyen rövid: egy hely, egy ruha vagy egy hangulat
• Mielőtt bármit átírsz, próbálj ki egy másik modellt

Egy Lipsync futtatás legfeljebb 15 másodpercnyi hangot fogad el. Teljes narrációhoz vagy hosszabb dalhoz oszd fel a hangot természetes szüneteknél legfeljebb 15 másodperces darabokra, és szinkronizáld mindegyiket ugyanazzal a fotóval vagy mentett karakterrel. A mentett karakter szegmensről szegmensre ugyanazt az arcot tartja, ettől lesznek láthatatlanok a vágások.

Ha elkészültek a szegmensek, rendezd őket sorba itt: Storyboard, ahol legfeljebb hat mentett klipet tehetsz sorrendbe, és hanggal együtt egyetlen MP4-ként exportálhatod őket. Üres portréról indulnál? Az AI beszélő fotó útmutató a hangszöveg megírását és az arc animálását is bemutatja.

Az ajakszinkron praktikus módja egy rövid klip szinkronizálásának. Vedd fel vagy generáld le a mondatot az új nyelven, tartsd az előadásmódot az eredeti tempóhoz közel, és futtasd le egy olyan beszélő állóképén, akinek a használatára engedélyed van. Mivel a száj az új hang alapján mozog, az ajkak a lefordított szavakat követik, nem az eredetieket.

Visszatérő narrátorhoz vagy egy sorozatban végig beszélő karakterhez az arcot egyszer építsd meg ezzel: AI karaktergenerátor, majd a beszélős jelenetek közé tegyél mozgó felvételeket ezzel: AI képből videó. Kameramozgásos énekes előadáshoz az AI zenei videó generátor pontosan erre készült.