Synchronizacja ust AI

Synchronizacja ust AI zamienia nieruchomy obraz i nagranie audio w wideo, na którym postać mówi lub śpiewa ten dźwięk. Model słucha nagrania, ustala, jak powinny układać się usta przy każdej sylabie, i animuje twarz tak, by pasowała do dźwięku, z drobnymi ruchami głowy i mimiką, dzięki którym mowa wygląda naturalnie, a nie jak ruszająca się usta na zdjęciu.

Aplikacja Lipsync w Mage robi to z jednego obrazu. Wgraj zdjęcie lub wybierz zapisaną postać, dodaj kwestię głosową, piosenkę albo narrację do 15 sekund i wybierz model wideo. Postać zachowuje wygląd, kadrowanie, światło i otoczenie z twojego obrazu, a kamera pozostaje nieruchoma. Możesz dodać krótkie wskazówki do sceny, na przykład nowe tło lub nastrój, a Mage zastosuje je po własnej instrukcji synchronizacji ust.

Została stworzona dla twórców, którzy mają już dźwięk: lektora do klipu produktowego, kwestię zdubbingowaną na inny język, cytat z podcastu, zwrotkę piosenki. Jeśli dopiero potrzebujesz samego głosu, stwórz go najpierw w Seed Audio i przenieś tutaj. Jeśli osoba ma tylko mówić, Lipsync jest właściwym narzędziem. Jeśli ma występować, z ruchami kamery i tańcem, lepiej sprawdzi się aplikacja Music Video.

O większości efektu decyduje audio. Suche nagranie z jednym głosem, bez podkładu muzycznego i echa pomieszczenia daje modelowi wyraźne sylaby, za którymi może podążać. Muzyka w tle i nakładające się głosy zacierają spółgłoski, z których powstają kształty ust, więc przytnij klip do potrzebnej kwestii i usuń ciszę na początku, bo twarz czeka, dopóki nic nie jest mówione.

Resztę rozstrzyga obraz. Twarz zajmująca dużą część kadru, zwrócona mniej więcej w stronę kamery i z odsłoniętymi ustami daje modelowi pole do pracy. Dłonie przy ustach, ostry profil i bardzo małe twarze w szerokim ujęciu to najczęstsze powody, dla których klip wygląda źle. Jeśli zaczynasz od wygenerowanego portretu, zrób go z zamkniętymi lub rozluźnionymi ustami, żeby pierwsze klatki nie zaczynały się w połowie słowa.

• Przytnij audio dokładnie do kwestii, maksymalnie 15 sekund
• Użyj jednego wyraźnego głosu bez podkładu muzycznego
• Wybierz zdjęcie z przodu, z widocznymi ustami
• Pisz krótkie wskazówki do sceny: miejsce, strój lub nastrój
• Spróbuj drugiego modelu, zanim cokolwiek przepiszesz

Każde uruchomienie Lipsync obsługuje do 15 sekund audio. Przy pełnym lektorze albo dłuższej piosence podziel audio w naturalnych pauzach na części po maksymalnie 15 sekund i synchronizuj każdą z nich z tym samym zdjęciem lub zapisaną postacią. Zapisana postać zachowuje identyczną twarz w kolejnych fragmentach, dzięki czemu cięcia są niewidoczne.

Gdy fragmenty są gotowe, ułóż je w Storyboard, który ustawia w kolejności do sześciu zapisanych klipów i eksportuje je razem z dźwiękiem jako jeden plik MP4. Zaczynasz od pustego portretu? Poradnik o gadających zdjęciach AI opisuje, jak napisać tekst do głosu i jak animować twarz.

Lip sync to praktyczny sposób na dubbing krótkiego klipu. Nagraj lub wygeneruj kwestię w nowym języku, zachowaj tempo zbliżone do oryginału i użyj jej ze zdjęciem osoby, której wizerunku masz prawo używać. Ponieważ usta są animowane na podstawie nowego audio, poruszają się zgodnie z przetłumaczonymi słowami, a nie z oryginalnymi.

Dla stałego narratora lub postaci, która mówi w całej serii, stwórz twarz raz za pomocą generatora postaci AI, a potem dodaj ruchome ujęcia między mówionymi, korzystając z zamiany obrazu na wideo z AI. Do śpiewanego występu z ruchem kamery służy generator teledysków AI, stworzony dokładnie do tego.