Tłumacz wideo AI

Tłumacz wideo AI bierze film w jednym języku i przekłada go na inny: tłumaczy słowa, tworzy nową ścieżkę głosową w języku docelowym i, najlepiej, dopasowuje usta mówcy do nowych słów. Pełne usługi dubbingu robią to wszystko po jednym przesłaniu pliku. Mage zajmuje się głosem i ustami w osobnych narzędziach, nad którymi masz kontrolę, co lepiej sprawdza się przy krótkich klipach, takich jak reklamy, intra i filmy z postaciami, niż przy godzinnych nagraniach.

Podział wygląda tak. Mage nie transkrybuje twojego wideo ani nie tłumaczy go samodzielnie i nie dodaje napisów. Scenariusz w nowym języku piszesz ty, tłumacz lub twój asystent AI. Następnie Eleven Speech czyta go w ponad 90 językach, a Lipsync animuje nieruchomy kadr z mówcą, czyli wyraźną klatkę z twojego wideo lub zapisaną postać, tak by usta podążały za nowym dźwiękiem, do 15 sekund na klip.

Efektem jest nowy klip z mówiącą postacią, wygenerowany z tej klatki, a nie twoje oryginalne nagranie z podmienionymi ustami, więc gesty mówcy i ruchy kamery z oryginału nie zostają zachowane. Przy narracji bez widocznego mówcy synchronizacja ust w ogóle nie jest potrzebna: wystarczy nałożyć nowy głos na oryginalny obraz w swoim edytorze. Tekst na obrazach reklamowych podmienia w miejscu umiejętność Ad Localizer.

Automatycznie w Mage: Eleven Speech zamienia napisany scenariusz na mowę w języku, w którym go napiszesz, a tempem i emocjami możesz sterować tagami, takimi jak [whispers] czy [laughs]. Lipsync zamienia jeden obraz i do 15 sekund audio w wideo, na którym postać to wypowiada, z naturalną mimiką i subtelnym ruchem głowy. Umiejętność Ad Localizer w twoim asystencie przepisuje tekst ze statycznej reklamy, daje go do przetłumaczenia asystentowi i po zatwierdzeniu treści podmienia każdą linijkę, zachowując krój pisma, rozmiar i położenie.

Nie jest automatyczne: transkrypcja oryginalnej mowy, tłumaczenie dialogów, dopasowanie czasu nowej kwestii do oryginału, zachowanie własnego głosu oryginalnego mówcy, oddzielenie podkładu muzycznego od głosu oraz napisy. Mage nie ma funkcji zamiany mowy na tekst, automatycznego dubbingu ani narzędzia do napisów. Lipsync tworzy też nowy klip z nieruchomego kadru, więc nie zachowuje ruchu, cięć ani innych osób z oryginalnego nagrania.

• Automatycznie: głos z twojego scenariusza, w ponad 90 językach.
• Automatycznie: usta zsynchronizowane z nowym audio, z jednego obrazu.
• Automatycznie: tekst na obrazach reklamowych podmieniany po twoim zatwierdzeniu.
• Po twojej stronie: transkrypcja, tłumaczenie i końcowa weryfikacja.
• Niedostępne: napisy ani nowe usta na oryginalnym nagraniu.

Scenariusz do dubbingu to nie plik z napisami. Trzeba go wypowiedzieć mniej więcej w tym samym czasie, w jakim trwał oryginał, więc tłumacz tak, by zgadzały się i sens, i długość. Niemiecki i francuski często wychodzą dłuższe niż angielski, a japoński i chiński zwykle krótsze; lepiej skrócić kwestię, niż przyspieszać głos. Nazwy marek i produktów zostaw bez zmian, a liczby, daty i ceny zapisuj tak, jak wypowiedziałby je lokalny mówca.

Jeśli pracujesz w Claude, ChatGPT lub innym asystencie z podłączonym Mage, asystent może przygotować tłumaczenie i pokazać Ci je linijka po linijce, zanim cokolwiek zostanie zamienione na głos. To tłumaczenie jest dziełem asystenta, a nie funkcją Mage, więc jeśli ma trafić do klientów, poproś native speakera o przeczytanie go. Następnie podziel skrypt w naturalnych pauzach na fragmenty po maksymalnie 15 sekund, czyli tyle, ile trwa jeden klip Lipsync.

Do większości tłumaczeń użyj Eleven Speech. Wybierz jeden z 16 głosów, który pasuje do wieku i energii mówiącej osoby, napisz skrypt w języku docelowym i steruj sposobem czytania za pomocą tagów audio w nawiasach kwadratowych. Plik MP3 trwa dokładnie tyle, ile skrypt, do 5000 znaków na żądanie, więc nie ma ciszy do przycinania. Więcej o głosach i tagach znajdziesz w przewodniku o syntezie mowy AI.

Eleven Speech mówi tylko swoimi gotowymi głosami. Gdy nowa ścieżka ma brzmieć jak oryginalny mówca, Seed Audio może poprowadzić głos na podstawie maksymalnie trzech referencji audio, ale tylko nagrań głosu, którego masz prawo używać. Generuje nagrania o stałej długości: 5, 10, 30, 60 lub 120 sekund, więc przed pełnym skryptem sprawdź czas i język na krótkiej kwestii. Więcej o dopasowywaniu głosu znajdziesz w przewodniku o klonowaniu głosu AI.

Sklonowanie własnego głosu na potrzeby dubbingu to zwykła praktyka: YouTube na przykład wymienia je wśród zastosowań AI, które nie wymagają oznaczenia zmienionych treści. Klonowanie cudzego głosu to zupełnie inna sprawa, a Mage nie pozwala naśladować prawdziwej osoby bez jej zgody.

Gdy ktoś mówi do kamery, wybierz z wideo najwyraźniejszy kadr z tą osobą od przodu, z widocznymi, zamkniętymi lub rozluźnionymi ustami, i użyj go jako postaci w funkcji Lipsync. Dodaj przetłumaczone audio, do 15 sekund, i wybierz model: domyślny jest Plum, a Blueberry 2 animuje dokładnie ten obraz, który mu podasz, dzięki czemu zachowuje wygląd oryginalnego kadru. Każdy klip to nowy występ oparty na tym zdjęciu, a kamera pozostaje nieruchomo skierowana na mówcę.

Jeśli mówca pojawia się w całej serii, zapisz go jako postać, aby jego twarz wyglądała tak samo w każdym języku. Potem ułóż klipy w Storyboard, który łączy do sześciu z nich w jeden plik MP4 razem z dźwiękiem. Więcej o wyborze kadru, który dobrze się animuje, znajdziesz w przewodniku o mówiącym zdjęciu AI.

Gdy nikt nie mówi do kamery, jak w filmie objaśniającym z lektorem, demo produktu czy nagraniu ekranu, pomiń synchronizację ust. Wygeneruj nową narrację i podmień ścieżkę audio w swoim edytorze wideo. Mage nie wmiksowuje nowego głosu do istniejącego wideo.

• Wybierz kadr od przodu z widocznymi ustami.
• Każdy fragment audio ma trwać maksymalnie 15 sekund.
• Zapisz powracającego mówcę jako postać.
• Gdy nikt nie jest przed kamerą, podmień audio w edytorze.

Statyczne reklamy niosą przekaz w tekście: nagłówku, przycisku, ofercie. Zajmuje się tym skill Ad Localizer w Twoim asystencie. Przepisuje każdą linijkę, tłumaczy z uwzględnieniem sensu i tonu, dostosowuje łamanie wierszy, formaty liczb i układy od prawej do lewej, a potem pokazuje Ci tekst do zatwierdzenia. Następnie podmienia każdą linijkę na obrazie za pomocą GPT Image 2.5 Flare, zachowując styl czcionki, układ, produkt i logo, a nazwę marki i teksty na opakowaniach zostawia bez zmian. Nie tłumaczy lektorów w wideo. Znajdziesz go na stronie Mage skills. Resztę procesu tworzenia reklam znajdziesz w przewodniku o generatorze reklam AI.