Clonazione vocale con IA

La clonazione vocale genera nuovo parlato con il suono di una voce specifica: tono, grana, accento e modo di pronunciare le parole. I sistemi precedenti richiedevano in genere lunghe registrazioni in studio e una fase di addestramento. Molti modelli attuali partono da una breve clip di riferimento: ascoltano pochi secondi della voce e pronunciano un nuovo testo con una voce corrispondente.

Su Mage, una voce clonata nasce da un riferimento audio. Carichi un MP3 o un WAV, scegli una creazione o un suono salvato, oppure incolli un link audio o social, scegli da dove inizia la clip e Mage conserva fino a 15 secondi sotto un @handle. Menziona quell'handle in un prompt di Seed Audio e il testo che scrivi viene letto con quella voce in un MP3 della durata esatta che imposti. Non c'è nessuna fase di addestramento: la clip viene letta ogni volta che la usi.

La stessa voce passa anche nei video. Salva una clip come voce di un personaggio e Cherry, Raspberry, Plum, Lemon e MiniMax-H3 la usano ogni volta che quel personaggio parla; Cherry, Plum, Lemon, MiniMax-H3 e Blueberry accettano anche riferimenti audio in un prompt video. Clona solo la tua voce, o una voce che hai il chiaro permesso di usare.

Il modello copia ciò che sente, compreso l'ambiente. Una clip registrata in una cucina con l'eco avrà il suono di una cucina. Registra in una stanza piccola con mobili e tessuti morbidi, a una o due spanne dal microfono, senza musica, televisione o altre voci in sottofondo. Un memo vocale dello smartphone in un armadio silenzioso spesso batte un buon microfono in una stanza spoglia.

Parla come vuoi che suoni la voce in seguito. Una lettura calma e uniforme si clona in una narrazione calma; una lettura vivace si clona in energia. Usa da dieci a quindici secondi di parlato continuo con qualche frase diversa, così il modello sente una gamma di suoni, ed evita pause lunghe, colpi di tosse e risate.

Se la tua take migliore è dentro una registrazione più lunga, carica l'intero file e imposta il tempo di inizio sui 15 secondi più riusciti. La voce di un personaggio conserva 10 secondi, quindi per un personaggio scegli i 10 secondi che gli assomigliano di più.

• Una sola voce, una stanza silenziosa, niente musica.
• Da dieci a quindici secondi di parlato continuo.
• Leggi con il tono che vuoi ottenere.
• Usa il tempo di inizio per scegliere la parte migliore.
• Mantieni un livello costante: niente clipping, niente sussurri.

In Seed Audio, menziona la voce con il suo @handle, metti le parole esatte tra virgolette e descrivi l'interpretazione e lo spazio: «@ana-voice, calda e senza fretta, vicina al microfono in una stanza silenziosa, dice: …». L'handle porta il suono della voce; la descrizione dà forma alla performance.

Scegli la durata prima di scrivere. Seed Audio restituisce esattamente la durata che scegli, 5, 10, 30, 60 o 120 secondi, riempiendo o tagliando per adattarsi, quindi calibra le parole su di essa. Con un ritmo naturale si pronunciano da due a tre parole al secondo, quindi una battuta di 10 secondi sta in 20-30 parole. Velocità del parlato, volume e tono sono impostazioni a parte, se la lettura ha bisogno di una spinta.

Una generazione di Seed Audio accetta fino a tre riferimenti audio oppure un riferimento immagine, non entrambi. Per musicare una scena a partire da un'immagine, generala senza la voce e aggiungi la voce in una clip separata.

• Menziona l'@handle prima della battuta.
• Metti le parole esatte tra virgolette.
• Descrivi l'interpretazione e l'ambiente.
• Scegli prima la durata, poi adatta le parole.

La strada più semplice è la voce di un personaggio. Quando crei o modifichi un personaggio, apri Character Voice e carica un MP3 o un WAV (vengono conservati i primi 10 secondi dal tuo tempo di inizio), oppure generane una dall'immagine del personaggio con una descrizione facoltativa, con il prezzo in Gems indicato sul pulsante. Da quel momento Cherry, Raspberry, Plum, Lemon e MiniMax-H3 la usano ogni volta che quel personaggio parla, a meno che tu non disattivi Character Voices. La guida generatore di personaggi AI spiega come salvare i personaggi.

Puoi anche menzionare un riferimento audio direttamente in un prompt video. Cherry, Plum e MiniMax-H3 ne accettano fino a tre, Lemon fino a cinque e Blueberry uno, e le voci dei personaggi contano nello stesso limite. Cherry richiede almeno un'immagine nel prompt, come un personaggio o un riferimento, quando alleghi l'audio.

Per una battuta che deve essere esatta, generala con la voce clonata in Seed Audio, poi apri Lipsync con un ritratto o un personaggio salvato e fino a 15 secondi di quell'audio. La guida foto parlante AI mostra tutto il procedimento.

Clona solo la tua voce o una voce che hai il chiaro permesso di usare. Imitare una persona reale senza il suo consenso non è consentito su Mage, e le linee guida della community vietano di impersonare amici, celebrità, personaggi pubblici o marchi a scopo dannoso, oltre a qualsiasi contenuto illegale nel luogo in cui vivi. Se qualcuno ti chiede di rimuovere una creazione in cui compare, rimuovila.

Ottieni il permesso per iscritto e rendilo specifico: di chi è la voce, cosa dirà, dove comparirà, se l'uso è commerciale e per quanto tempo. L'accordo con un doppiatore dovrebbe citare esplicitamente l'uso della voce sintetica; una liberatoria generica per le registrazioni spesso non lo copre.

Anche la legge va nella stessa direzione. Negli Stati Uniti, a febbraio 2024 la FCC ha stabilito che le voci generate dall'AI sono «artificiali» ai sensi della legge sui robocall, quindi usarne una in un robocall senza consenso è illegale, e l'ELVIS Act del Tennessee, in vigore da luglio 2024, vieta di usare l'AI per imitare la voce di una persona senza autorizzazione. Questa pagina non è una consulenza legale: verifica le regole del luogo in cui pubblichi.

Anche i fornitori dei modelli video controllano l'audio. Una generazione può essere rifiutata perché una clip contiene musica protetta da copyright o la voce di una persona reale, e una generazione rifiutata viene rimborsata.

• La tua voce: via libera.
• La voce di qualcun altro: prima il permesso scritto.
• Personaggi pubblici e celebrità: non senza una licenza.
• Mai per ingannare: niente finte chiamate, testimonianze o dichiarazioni.
• Indica il parlato sintetico realistico dove la piattaforma lo richiede.

Clona una voce quando chi parla deve essere una persona precisa: tu, un doppiatore che ha dato il suo consenso o un personaggio che hai già doppiato. Quando va bene una voce qualsiasi, le voci preimpostate sono più veloci: con la sintesi vocale AI puoi far leggere fino a 5.000 caratteri con una delle 16 voci ElevenLabs, mentre con il generatore vocale AI puoi dirigere la lettura con i tag audio e descrivere una nuova voce in un prompt.

Eleven Speech non clona le voci su Mage: parla solo con le sue voci preimpostate. La clonazione funziona con Seed Audio e con i modelli video che leggono i riferimenti audio e le voci dei personaggi. Gli sviluppatori possono fare tutto tramite l'API di generazione audio.