Traduttore video AI

Un traduttore video AI prende un video in una lingua e lo rende in un'altra: parole tradotte, una nuova traccia voce nella lingua di destinazione e, idealmente, una persona che parla con la bocca in sincrono con le nuove parole. I servizi di doppiaggio completi fanno tutto da un unico caricamento. Mage gestisce voce e labbra con strumenti separati che controlli tu, più adatti a clip brevi come annunci, intro e video con personaggi che a registrazioni di un'ora.

Ecco come funziona la divisione. Mage non trascrive il tuo video, non lo traduce da solo e non aggiunge sottotitoli. Lo script nella nuova lingua lo scrivi tu, un traduttore o il tuo assistente AI. Poi Eleven Speech lo legge in più di 90 lingue e Lipsync anima un'immagine ferma di chi parla, un fotogramma nitido del tuo video o un personaggio salvato, così le labbra seguono il nuovo audio, fino a 15 secondi per clip.

Il risultato è una nuova clip parlata creata a partire da quel fotogramma, non il tuo filmato originale con la bocca sostituita: i gesti di chi parla e i movimenti di camera dell'originale non vengono mantenuti. Per una voce narrante senza persona visibile non serve alcuna sincronizzazione labiale: applica la nuova voce al video originale nel tuo editor. Per il testo dentro le immagini degli annunci, la skill Ad Localizer lo sostituisce direttamente.

Automatico su Mage: Eleven Speech trasforma uno script scritto in voce nella lingua in cui lo scrivi, con ritmo ed emozione che puoi dirigere con tag come [whispers] o [laughs]. Lipsync trasforma un'immagine e fino a 15 secondi di audio in un video del soggetto che pronuncia quelle parole, con espressioni naturali e leggeri movimenti della testa. La skill Ad Localizer, nel tuo assistente, trascrive il testo di un annuncio statico, lo fa tradurre al tuo assistente e sostituisce ogni riga con lo stesso font, dimensione e posizione dopo che hai approvato il testo.

Non automatico: trascrivere il parlato originale, tradurre i dialoghi, adattare i tempi della nuova battuta a quelli dell'originale, mantenere la voce del parlante originale, separare la base musicale dalla voce e i sottotitoli. Mage non ha speech-to-text, doppiaggio automatico né uno strumento per i sottotitoli. Inoltre Lipsync crea una nuova clip da un'immagine ferma, quindi non mantiene il movimento, i tagli o le altre persone presenti nel filmato originale.

• Automatico: la voce dal tuo script, in più di 90 lingue.
• Automatico: labbra sincronizzate con il nuovo audio, a partire da un'immagine.
• Automatico: testo degli annunci sostituito nell'immagine dopo la tua approvazione.
• A tuo carico: la trascrizione, la traduzione e la revisione finale.
• Non disponibile: sottotitoli o nuove labbra sul filmato originale.

Uno script di doppiaggio non è un file di sottotitoli. Deve essere pronunciato più o meno nello stesso tempo dell'originale, quindi traduci tenendo conto insieme di significato e lunghezza. Tedesco e francese spesso sono più lunghi dell'inglese, giapponese e cinese spesso più brevi: accorcia una battuta piuttosto che accelerare la voce. Lascia invariati i nomi di brand e prodotti e di' numeri, date e prezzi come li direbbe un madrelingua.

Se lavori in Claude, ChatGPT o in un altro assistente con Mage collegato, l’assistente può preparare la traduzione e mostrartela riga per riga prima di generare qualsiasi voce. Quella traduzione è opera dell’assistente, non una funzione di Mage, quindi falla controllare da un madrelingua se è destinata ai clienti. Poi dividi il copione nei punti di pausa naturali in pezzi di 15 secondi o meno, la durata di una clip Lipsync.

Usa Eleven Speech per la maggior parte delle traduzioni. Scegli una delle sue 16 voci che si adatti all’età e all’energia di chi parla, scrivi il copione nella lingua di destinazione e guida la lettura con i tag audio tra parentesi quadre. L’MP3 dura esattamente quanto il copione, fino a 5.000 caratteri per richiesta, quindi non c’è nessun silenzio da tagliare. La guida su sintesi vocale AI approfondisce voci e tag.

Eleven Speech parla solo con le sue voci predefinite. Quando la nuova traccia deve somigliare alla voce originale, Seed Audio può guidare una voce a partire da un massimo di tre riferimenti audio, usando solo registrazioni di una voce che hai il permesso di usare. Genera durate fisse di 5, 10, 30, 60 o 120 secondi, quindi controlla tempi e lingua su una frase breve prima di passare a un copione intero. La guida sulla clonazione vocale AI spiega meglio come ottenere una voce simile.

Clonare la tua voce per un doppiaggio è una pratica normale: YouTube, per esempio, la include tra gli usi dell’AI che non richiedono di dichiarare contenuti modificati. Clonare la voce di un’altra persona è un’altra cosa, e Mage non permette di imitare una persona reale senza il suo consenso.

Quando una persona parla in camera, prendi dal video il fotogramma frontale più nitido, con la bocca visibile e chiusa o rilassata, e usalo come soggetto in Lipsync. Aggiungi l’audio tradotto, fino a 15 secondi, e scegli un modello: Plum è quello predefinito, mentre Blueberry 2 anima esattamente l’immagine che gli dai, mantenendo l’aspetto del fotogramma originale. Ogni clip è una nuova interpretazione a partire da quell’immagine fissa, con la camera ferma sulla persona che parla.

Per chi compare in una serie di video, salvalo come Character così il volto resta identico in ogni lingua. Poi metti le clip in sequenza in Storyboard, che ne unisce fino a sei in un unico MP4 con il loro audio. La guida sulla foto parlante AI spiega come scegliere un fotogramma che si anima bene.

Quando nessuno parla in camera, come in un video esplicativo con voce narrante, una demo di prodotto o una registrazione dello schermo, salta il lip sync. Genera la nuova narrazione e sostituisci la traccia audio nel tuo editor video. Mage non inserisce una nuova voce in un video esistente al posto tuo.

• Scegli un fotogramma frontale con la bocca visibile.
• Tieni ogni pezzo audio entro i 15 secondi.
• Salva come Character chi compare più volte.
• Sostituisci l’audio in un editor quando nessuno parla in camera.

Gli annunci statici affidano il messaggio al testo: il titolo, il pulsante, l’offerta. La skill Ad Localizer se ne occupa nel tuo assistente. Trascrive ogni riga, traduce badando a significato e tono, adatta gli a capo, i formati dei numeri e i layout da destra a sinistra, e ti mostra i testi da approvare. Poi sostituisce ogni riga nell’immagine con GPT Image 2.5 Flare, mantenendo stile del font, layout, prodotto e logo, e lascia invariati il nome del brand e i testi sulle confezioni. Non traduce le voci fuori campo dei video. La trovi nella pagina skill di Mage, e per il resto del flusso di lavoro degli annunci vedi il generatore di annunci AI.