Clonare vocală cu AI

Clonarea vocii creează vorbire nouă cu sunetul unei anumite voci: tonalitatea, textura, accentul și felul în care modelează cuvintele. Sistemele mai vechi cereau de obicei lungi înregistrări de studio și o rulare de antrenare. Multe modele actuale pornesc de la un clip de referință scurt: ascultă câteva secunde din voce și rostesc text nou într-o voce care îi seamănă.

Pe Mage, o voce clonată începe ca referință audio. Încarci un MP3 sau WAV, alegi o creație sau un sunet salvat ori lipești un link audio sau de social media, stabilești unde începe clipul, iar Mage păstrează până la 15 secunde sub un @handle. Menționează acel handle într-un prompt Seed Audio și îți rostește textul cu acea voce, ca MP3 de exact durata pe care o setezi. Nu există pas de antrenare: clipul este citit de fiecare dată când îl folosești.

Aceeași voce se transferă și în video. Salvează un clip ca voce a unui personaj, iar Cherry, Raspberry, Plum, Lemon și MiniMax-H3 o folosesc ori de câte ori personajul vorbește; Cherry, Plum, Lemon, MiniMax-H3 și Blueberry acceptă și referințe audio într-un prompt video. Clonează doar propria voce sau o voce pentru care ai permisiune clară.

Modelul copiază ce aude, inclusiv camera. Un clip înregistrat într-o bucătărie cu ecou va suna ca o bucătărie. Înregistrează într-o cameră mică, cu mobilier moale, la o palmă sau două de microfon, fără muzică, televizor sau alte voci în fundal. O notă vocală de pe telefon făcută într-un dulap liniștit bate adesea un microfon bun într-o cameră goală.

Vorbește așa cum vrei să sune vocea mai târziu. O citire calmă și uniformă se clonează în narațiune calmă; una animată se clonează în energie. Folosește zece-cincisprezece secunde de vorbire continuă, cu câteva propoziții diferite, ca modelul să audă o gamă de sunete, și evită pauzele lungi, tusea și râsul.

Dacă cea mai bună reușită se află într-o înregistrare mai lungă, încarcă tot fișierul și setează momentul de start la cele mai bune 15 secunde. Vocea unui personaj păstrează 10 secunde, așa că pentru un personaj alege cele 10 secunde care îi seamănă cel mai mult.

• Un singur vorbitor, cameră liniștită, fără muzică.
• Zece-cincisprezece secunde de vorbire continuă.
• Citește pe tonul pe care îl vrei înapoi.
• Folosește momentul de start ca să alegi secțiunea cea mai bună.
• Păstrează un nivel constant: fără distorsiuni, fără șoapte.

În Seed Audio, menționează vocea prin @handle, pune cuvintele exacte între ghilimele și descrie interpretarea și spațiul: „@ana-voice, caldă și fără grabă, aproape de microfon într-o cameră liniștită, spune: …”. Handle-ul aduce sunetul vocii; descrierea modelează interpretarea.

Alege durata înainte să scrii. Seed Audio returnează exact durata aleasă de tine, 5, 10, 30, 60 sau 120 de secunde, completând sau tăind ca să se potrivească, așa că adaptează textul la ea. Oamenii vorbesc cu două-trei cuvinte pe secundă într-un ritm natural, ceea ce înseamnă 20-30 de cuvinte pentru o replică de 10 secunde. Viteza vorbirii, volumul și tonalitatea sunt setări separate, când citirea are nevoie de un mic ajutor.

O rulare Seed Audio acceptă fie până la trei referințe audio, fie o referință imagine, nu amândouă. Ca să creezi sonorul unei scene dintr-o imagine, rulează fără voce și adaugă vocea într-un clip separat.

• Menționează @handle-ul înainte de replică.
• Pune cuvintele exacte între ghilimele.
• Descrie interpretarea și camera.
• Alege mai întâi durata, apoi potrivește cuvintele.

Cea mai simplă variantă este vocea unui personaj. Când creezi sau editezi un personaj, deschide Vocea personajului și încarcă un MP3 sau WAV (se păstrează primele 10 secunde de la momentul tău de start) sau generează una din imaginea personajului, cu o descriere opțională, cu prețul în Gems afișat pe buton. De atunci, Cherry, Raspberry, Plum, Lemon și MiniMax-H3 o folosesc de fiecare dată când personajul vorbește, dacă nu dezactivezi vocile personajelor. Ghidul generator de personaje AI explică salvarea personajelor.

Poți menționa o referință audio și direct într-un prompt video. Cherry, Plum și MiniMax-H3 acceptă până la trei, Lemon până la cinci, iar Blueberry una, și vocile personajelor se numără în aceeași limită. Cherry are nevoie de cel puțin o imagine în prompt, de exemplu un personaj sau o referință, când atașezi audio.

Pentru o replică ce trebuie să fie exactă, genereaz-o cu vocea clonată în Seed Audio, apoi deschide Lipsync cu un portret sau un personaj salvat și cu până la 15 secunde din acel audio. Ghidul fotografie vorbitoare AI arată întregul proces.

Clonează doar propria voce sau o voce pentru care ai permisiune clară. Imitarea unei persoane reale fără consimțământul ei nu este permisă pe Mage, iar regulile comunității interzic uzurparea identității prietenilor, a celebrităților, a persoanelor publice sau a brandurilor în scopuri dăunătoare, precum și orice conținut ilegal unde locuiești. Dacă cineva îți cere să elimini o creație în care apare, elimin-o.

Obține permisiunea în scris și fă-o specifică: a cui este vocea, ce va spune, unde va apărea, dacă utilizarea este comercială și pentru cât timp. Contractul unui actor vocal ar trebui să menționeze explicit utilizarea vocii sintetice; o cesiune generală a înregistrărilor adesea nu o acoperă.

Legea merge în aceeași direcție. În SUA, FCC a decis în februarie 2024 că vocile generate de AI sunt considerate „artificiale” conform legii privind robocall-urile, deci folosirea uneia într-un robocall fără consimțământ este ilegală, iar ELVIS Act din Tennessee, în vigoare din iulie 2024, interzice folosirea AI pentru a imita vocea cuiva fără permisiune. Această pagină nu reprezintă consultanță juridică; verifică regulile din locul unde publici.

Furnizorii modelelor video verifică și audio-ul. O rulare poate fi refuzată pentru că un clip conține muzică protejată de drepturi de autor sau vocea unei persoane reale, iar rularea refuzată este rambursată.

• Propria voce: poți continua.
• Vocea altcuiva: mai întâi permisiune în scris.
• Persoane publice și celebrități: nu fără licență.
• Niciodată pentru a înșela: fără apeluri, recomandări sau declarații false.
• Marchează vorbirea sintetică realistă acolo unde o cere platforma.

Clonează o voce atunci când vorbitorul trebuie să fie cineva anume: tu, un actor vocal care a fost de acord sau un personaj pe care l-ai exprimat deja. Când orice voce bună e suficientă, vocile presetate sunt mai rapide: text în vorbire AI citește până la 5.000 de caractere cu una dintre cele 16 voci ElevenLabs, iar generatorul de voce AI explică cum să dirijezi o citire cu taguri audio și cum să descrii o voce nouă într-un prompt.

Eleven Speech nu clonează voci pe Mage: vorbește doar cu vocile sale presetate. Clonarea funcționează pe Seed Audio și pe modelele video care citesc referințe audio și voci de personaje. Dezvoltatorii pot face toate acestea prin API-ul de generare audio.