Klonování hlasu pomocí AI

Klonování hlasu vytváří novou řeč zvukem jednoho konkrétního hlasu: jeho výškou, barvou, přízvukem i tím, jak tvaruje slova. Starší systémy obvykle potřebovaly dlouhé studiové nahrávky a trénink. Mnoho současných modelů pracuje s krátkým referenčním klipem: poslechnou si pár sekund hlasu a nový text namluví hlasem, který mu odpovídá.

V Mage začíná naklonovaný hlas jako zvuková reference. Nahraješ MP3 nebo WAV, vybereš výtvor nebo uložený zvuk, nebo vložíš odkaz na audio či sociální síť, zvolíš, kde klip začíná, a Mage uchová až 15 sekund pod @handle. Zmiň tento handle v promptu pro Seed Audio a text se namluví tímto hlasem jako MP3 přesně v délce, kterou nastavíš. Žádný trénink neprobíhá: klip se čte při každém použití.

Stejný hlas funguje i ve videu. Ulož klip jako hlas postavy a Cherry, Raspberry, Plum, Lemon a MiniMax-H3 ho použijí vždy, když postava mluví; Cherry, Plum, Lemon, MiniMax-H3 a Blueberry také berou zvukové reference v promptu videa. Klonuj jen vlastní hlas nebo hlas, který máš jasné svolení použít.

Model kopíruje to, co slyší, včetně prostředí. Ukázka nahraná v kuchyni s ozvěnou bude znít jako z kuchyně. Nahrávej v malé místnosti s měkkým zařízením, na šířku dlaně nebo dvou od mikrofonu, bez hudby, televize nebo jiných hlasů v pozadí. Hlasová poznámka z telefonu v tiché šatně často porazí dobrý mikrofon v prázdné místnosti.

Mluv tak, jak má hlas znít později. Klidné, vyrovnané čtení se naklonuje do klidného vyprávění, živé čtení do energie. Použij deset až patnáct sekund souvislé řeči s několika různými větami, aby model slyšel pestrou škálu hlásek, a vyhni se dlouhým pauzám, kašlání a smíchu.

Pokud je tvůj nejlepší záběr uvnitř delší nahrávky, nahraj celý soubor a nastav čas začátku na nejlepších 15 sekund. Hlas postavy si ponechá 10 sekund, takže u postavy vyber těch 10 sekund, které jí nejvíc odpovídají.

• Jeden mluvčí, tichá místnost, žádná hudba.
• Deset až patnáct sekund souvislé řeči.
• Čti v tónu, který chceš dostat zpět.
• Časem začátku vyber nejlepší úsek.
• Udrž stálou hlasitost: žádné přebuzení, žádné šeptání.

V Seed Audio zmiň hlas jeho @handle, přesná slova dej do uvozovek a popiš přednes i prostor: „@ana-voice, vřele a bez spěchu, blízko mikrofonu v tiché místnosti, říká: …“. Handle přinese zvuk hlasu, popis tvaruje výkon.

Délku vyber ještě před psaním. Seed Audio vrátí přesně zvolenou délku, 5, 10, 30, 60 nebo 120 sekund, a podle potřeby doplní nebo ořízne, takže slova tomu přizpůsob. Lidé mluví přirozeným tempem dvě až tři slova za sekundu, takže 10sekundová věta má 20 až 30 slov. Rychlost řeči, hlasitost a výška tónu jsou samostatná nastavení, kdyby bylo potřeba přednes trochu posunout.

Jedno spuštění Seed Audio přijme buď až tři zvukové reference, nebo jednu obrazovou referenci, ne obojí. Chceš-li k scéně z obrázku vytvořit zvuk, spusť ji bez hlasu a hlas přidej v samostatném klipu.

• Zmiň @handle před větou.
• Přesná slova dej do uvozovek.
• Popiš přednes a prostředí.
• Nejdřív zvol délku, potom přizpůsob slova.

Nejjednodušší cesta je hlas postavy. Když postavu vytváříš nebo upravuješ, otevři Hlas postavy a nahraj MP3 nebo WAV (zachová se prvních 10 sekund od tvého času začátku), nebo ho vygeneruj z obrázku postavy s volitelným popisem; cena v Gems je uvedená na tlačítku. Od té chvíle ho Cherry, Raspberry, Plum, Lemon a MiniMax-H3 používají, kdykoli daná postava mluví, pokud Hlasy postav nevypneš. Průvodce AI generátor postav popisuje ukládání postav.

Zvukovou referenci můžeš také zmínit přímo v promptu pro video. Cherry, Plum a MiniMax-H3 přijmou až tři, Lemon až pět a Blueberry jednu a hlasy postav se počítají do stejného limitu. Cherry při přiložení zvuku potřebuje v promptu alespoň jeden obrázek, například postavu nebo referenci.

Pro větu, která musí sedět přesně, ji vygeneruj naklonovaným hlasem v Seed Audio a pak otevři Lipsync s portrétem nebo uloženou postavou a až 15 sekundami tohoto zvuku. Průvodce AI mluvící fotka ukazuje celý postup.

Klonuj jen svůj vlastní hlas nebo hlas, ke kterému máš jasné svolení. Napodobování skutečné osoby bez jejího souhlasu není na Mage povoleno a zásady komunity zakazují vydávat se za přátele, celebrity, veřejně známé osoby nebo značky se škodlivým záměrem i jakýkoli obsah, který je nezákonný v místě, kde žiješ. Pokud tě někdo požádá o odstranění výtvoru, v němž vystupuje, odstraň ho.

Získej svolení písemně a buď konkrétní: čí hlas, co bude říkat, kde se objeví, zda jde o komerční použití a na jak dlouho. Smlouva s hlasovým hercem by měla výslovně zmiňovat použití syntetického hlasu; obecný souhlas s nahráváním ho často nepokrývá.

Zákon míří stejným směrem. V USA rozhodl úřad FCC v únoru 2024, že hlasy generované AI jsou podle zákona o robocallech „umělé“, takže jejich použití v robocallu bez souhlasu je nezákonné, a tennesseeský zákon ELVIS Act, účinný od července 2024, zakazuje používat AI k napodobení hlasu člověka bez jeho svolení. Tato stránka není právní poradenství; zjisti si pravidla v místě, kde publikuješ.

Poskytovatelé video modelů zvuk také kontrolují. Spuštění může být zamítnuto, pokud ukázka obsahuje hudbu chráněnou autorským právem nebo hlas skutečné osoby, a zamítnuté spuštění se vrací.

• Tvůj vlastní hlas: do toho.
• Cizí hlas: nejdřív písemné svolení.
• Veřejně známé osoby a celebrity: ne bez licence.
• Nikdy k oklamání: žádné falešné hovory, doporučení ani prohlášení.
• Realistickou syntetickou řeč označ, kde to platforma vyžaduje.

Klonuj hlas, když musí mluvit někdo konkrétní: ty, hlasový herec, který s tím souhlasil, nebo postava, kterou už máš nahranou. Když stačí jakýkoli dobrý hlas, jsou rychlejší přednastavené hlasy: AI převod textu na řeč přečte až 5 000 znaků jedním z 16 hlasů ElevenLabs a AI generátor hlasu popisuje, jak řídit přednes pomocí zvukových tagů a jak v promptu popsat nový hlas.

Eleven Speech na Mage hlasy neklonuje: mluví jen svými přednastavenými hlasy. Klonování běží na Seed Audio a na video modelech, které čtou zvukové reference a hlasy postav. Vývojáři to všechno zvládnou přes API pro generování zvuku.