Traducător video cu AI

Un traducător video cu AI preia un videoclip într-o limbă și îl oferă în alta: cuvintele traduse, o nouă coloană vocală în limba țintă și, în mod ideal, un vorbitor a cărui gură se potrivește cu noile cuvinte. Serviciile complete de dublaj fac toate acestea dintr-o singură încărcare. Mage face vocea și buzele cu instrumente separate, pe care le controlezi tu, ceea ce se potrivește mai bine clipurilor scurte, cum sunt reclamele, introducerile și videoclipurile cu personaje, decât înregistrărilor de o oră.

Iată împărțirea. Mage nu îți transcrie videoclipul și nu îl traduce singur, și nici nu adaugă subtitrări. Tu, un traducător sau asistentul tău AI scrieți scriptul în noua limbă. Apoi Eleven Speech îl citește în peste 90 de limbi, iar Lipsync animă o imagine statică a vorbitorului, un cadru clar din videoclipul tău sau un personaj salvat, astfel încât buzele să urmeze noul audio, până la 15 secunde per clip.

Rezultatul este un nou clip cu vorbitor, creat din acel cadru, nu filmarea ta originală cu gura înlocuită, deci gesturile vorbitorului și mișcările de cameră din original nu se păstrează. Pentru o narațiune fără vorbitor vizibil nu ai nevoie deloc de sincronizarea buzelor: pune vocea nouă peste imaginea originală în editorul tău. Pentru textul din imaginile publicitare, skillul Ad Localizer îl înlocuiește chiar în loc.

Automat în Mage: Eleven Speech transformă un script scris în vorbire, în limba în care îl scrii, cu ritm și emoție pe care le poți dirija cu taguri precum [whispers] sau [laughs]. Lipsync transformă o imagine și până la 15 secunde de audio într-un video cu subiectul care le rostește, cu expresii naturale și mișcări subtile ale capului. Skillul Ad Localizer, în asistentul tău, transcrie textul dintr-o reclamă statică, îl dă asistentului tău să-l traducă și înlocuiește fiecare rând cu același font, aceeași mărime și poziție, după ce aprobi textul.

Nu este automat: transcrierea vorbirii originale, traducerea dialogului rostit, potrivirea duratei noii replici cu cea originală, păstrarea vocii proprii a vorbitorului original, separarea muzicii de fundal de voce și subtitrările. Mage nu are speech-to-text, dublaj automat sau instrument de subtitrare. În plus, Lipsync creează un clip nou dintr-o imagine statică, deci nu păstrează mișcarea, tăieturile sau celelalte persoane din filmarea originală.

• Automat: vocea din scriptul tău, în peste 90 de limbi.
• Automat: buze sincronizate cu noul audio, dintr-o singură imagine.
• Automat: textul publicitar din imagine, înlocuit după aprobarea ta.
• Al tău: transcrierea, traducerea și verificarea finală.
• Indisponibil: subtitrări sau buze noi pe filmarea originală.

Un script de dublaj nu este un fișier de subtitrare. Trebuie rostit aproximativ în timpul în care a durat originalul, așa că tradu având în vedere atât sensul, cât și lungimea. Germana și franceza sunt adesea mai lungi decât engleza, iar japoneza și chineza adesea mai scurte; scurtează o replică în loc să accelerezi vocea. Păstrează numele de brand și de produse așa cum sunt și rostește numerele, datele și prețurile așa cum le-ar rosti un vorbitor local.

Dacă lucrezi în Claude, ChatGPT sau alt asistent cu Mage conectat, asistentul poate redacta traducerea și ți-o poate arăta rând cu rând înainte ca ceva să fie transpus în voce. Traducerea aparține asistentului, nu este o funcție Mage, așa că pune un vorbitor nativ să o citească dacă e destinată clienților. Apoi împarte scriptul la pauzele naturale în bucăți de cel mult 15 secunde, lungimea unui clip Lipsync.

Folosește Eleven Speech pentru majoritatea traducerilor. Alege una dintre cele 16 voci care se potrivește cu vârsta și energia vorbitorului, scrie scriptul în limba țintă și dirijează interpretarea cu taguri audio între paranteze drepte. Fișierul MP3 are exact lungimea scriptului, până la 5.000 de caractere per cerere, așa că nu trebuie să tai nicio pauză de liniște. Ghidul despre text to speech cu AI tratează în detaliu vocile și tagurile.

Eleven Speech vorbește doar cu vocile sale predefinite. Când noua pistă trebuie să sune ca vorbitorul original, Seed Audio poate ghida o voce pornind de la până la trei referințe audio, folosind doar înregistrări ale unei voci pe care ai permisiunea să o folosești. Generează durate fixe de 5, 10, 30, 60 sau 120 de secunde, așa că verifică durata și limba pe o replică scurtă înainte de un script întreg. Ghidul despre clonarea vocii cu AI explică mai pe larg cum potrivești o voce.

Clonarea propriei voci pentru o dublare este o practică obișnuită: YouTube, de exemplu, o include printre utilizările AI care nu necesită menționarea conținutului modificat. Clonarea vocii altcuiva este cu totul altceva, iar Mage nu permite imitarea unei persoane reale fără acordul ei.

Când o persoană vorbește către cameră, alege din videoclip cel mai clar cadru din față, cu gura vizibilă, închisă sau relaxată, și folosește-l ca subiect în Lipsync. Adaugă audio tradus, de până la 15 secunde, și alege un model: Plum este cel implicit, iar Blueberry 2 animă exact imaginea pe care i-o dai, păstrând aspectul cadrului original. Fiecare clip este o nouă interpretare pornind de la acea imagine statică, cu camera fixă pe vorbitor.

Pentru un vorbitor care apare într-o serie, salvează-l ca personaj, ca fața să rămână identică în fiecare limbă. Apoi aranjează clipurile în Storyboard, care îmbină până la șase într-un singur MP4, cu sunet. Ghidul despre fotografii vorbitoare cu AI te ajută să alegi un cadru care se animă bine.

Când nimeni nu vorbește în cadru, ca într-un clip explicativ cu narațiune, o demonstrație de produs sau o înregistrare de ecran, sari peste sincronizarea buzelor. Generează noua narațiune și înlocuiește pista audio în editorul tău video. Mage nu amestecă o voce nouă într-un videoclip existent în locul tău.

• Alege un cadru din față, cu gura vizibilă.
• Păstrează fiecare bucată audio la cel mult 15 secunde.
• Salvează un vorbitor recurent ca personaj.
• Înlocuiește audio într-un editor când nimeni nu apare în cadru.

Reclamele statice își transmit mesajul prin text: titlul, butonul, oferta. Skill-ul Ad Localizer se ocupă de acestea în asistentul tău. Transcrie fiecare rând, traduce după sens și ton, ajustează rupturile de rând, formatele numerelor și aranjările de la dreapta la stânga și îți arată textul spre aprobare. Apoi înlocuiește fiecare rând din imagine cu GPT Image 2.5 Flare, păstrând stilul fontului, aranjarea, produsul și logoul, și lasă neschimbate numele mărcii și textul de pe ambalaj. Nu traduce vocile din videoclipuri. Îl găsești pe pagina skill-urilor Mage, iar pentru restul fluxului de lucru pentru reclame vezi generatorul de reclame cu AI.