AI hangklónozás

A hangklónozás új beszédet hoz létre egy adott hang hangzásával: a hangmagasságával, a színezetével, az akcentusával és a szavak formálásának módjával. A korábbi rendszerekhez általában hosszú stúdiófelvételek és egy betanítási folyamat kellett. Sok mai modell rövid referenciafelvételből dolgozik: meghallgatja a hang néhány másodpercét, és új szöveget mond el hozzá illő hangon.

A Mage-ben a klónozott hang hangreferenciaként indul. Feltöltesz egy MP3-at vagy WAV-ot, kiválasztasz egy alkotást vagy mentett hangot, vagy beillesztesz egy hang- vagy közösségi linket, megadod, hol kezdődjön a felvétel, a Mage pedig legfeljebb 15 másodpercet megtart egy @handle alatt. Említsd meg ezt a handle-t egy Seed Audio promptban, és a szövegedet ezen a hangon mondja el, MP3-ként, pontosan a beállított hosszban. Nincs betanítási lépés: a felvételt minden használatkor újra beolvassa.

Ugyanez a hang a videóba is átvihető. Ments el egy felvételt egy karakter hangjaként, és a Cherry, a Raspberry, a Plum, a Lemon és a MiniMax-H3 azt használja, valahányszor az a karakter megszólal; a Cherry, a Plum, a Lemon, a MiniMax-H3 és a Blueberry a videóprompt hangreferenciáit is elfogadja. Csak a saját hangodat klónozd, vagy olyat, amelynek használatára egyértelmű engedélyed van.

A modell azt másolja, amit hall, a szoba hangzását is. Egy visszhangos konyhában készült felvétel konyhaként szól vissza. Vegyél fel egy kis, puha bútorokkal berendezett szobában, a mikrofontól egy-két tenyérnyire, zene, tévé vagy más hangok nélkül a háttérben. Egy csendes gardróbban készült telefonos hangjegyzet gyakran jobb, mint egy jó mikrofon egy kopár szobában.

Úgy beszélj, ahogy később hallani szeretnéd a hangot. A nyugodt, egyenletes felolvasásból nyugodt narráció lesz, az élénkből energikus. Használj tíz-tizenöt másodpercnyi folyamatos beszédet néhány különböző mondattal, hogy a modell sokféle hangzást halljon, és kerüld a hosszú szüneteket, köhögést és nevetést.

Ha a legjobb részlet egy hosszabb felvételen belül van, töltsd fel az egész fájlt, és állítsd a kezdőidőt a legerősebb 15 másodpercre. A karakterhang 10 másodpercet tart meg, ezért karakternél azt a 10 másodpercet válaszd, amely a legjobban hasonlít rá.

• Egy beszélő, csendes szoba, zene nélkül.
• Tíz-tizenöt másodperc folyamatos beszéd.
• Olyan hangnemben olvass, amilyet vissza szeretnél kapni.
• A kezdőidővel válaszd ki a legjobb részt.
• Tartsd egyenletesen a hangerőt: ne legyen torzítás, se suttogás.

A Seed Audióban említsd meg a hangot a @handle-jével, tedd idézőjelbe a pontos szöveget, és írd le az előadásmódot és a teret: "@ana-voice, melegen és sietség nélkül, a mikrofonhoz közel egy csendes szobában, ezt mondja: …". A handle hozza a hang karakterét, a leírás pedig az előadást formálja.

A hosszt válaszd ki írás előtt. A Seed Audio pontosan a kiválasztott időtartamot adja vissza: 5, 10, 30, 60 vagy 120 másodpercet, szükség szerint kitöltve vagy vágva, ezért igazítsd hozzá a szöveget. Természetes tempóban másodpercenként két-három szót mondunk, vagyis egy 10 másodperces szöveg 20–30 szó. A beszédsebesség, a hangerő és a hangmagasság külön beállítások, ha az előadáson kell egy kis finomítás.

Egy Seed Audio futtatás vagy legfeljebb három hangreferenciát, vagy egy képreferenciát fogad, mindkettőt nem. Ha egy jelenethez képből szeretnél hangot, futtasd hang nélkül, a hangot pedig add hozzá egy külön klipben.

• Említsd meg a @handle-t a szöveg előtt.
• Tedd idézőjelbe a pontos szöveget.
• Írd le az előadásmódot és a szobát.
• Előbb válaszd ki az időtartamot, utána igazítsd hozzá a szöveget.

A legegyszerűbb út a karakterhang. Karakter létrehozásakor vagy szerkesztésekor nyisd meg a Character Voice részt, és tölts fel egy MP3 vagy WAV fájlt (a kezdőidőtől számított első 10 másodpercet tartjuk meg), vagy generálj egyet a karakter képéből egy opcionális leírással; az árat Gemekben a gomb mutatja. Ezután a Cherry, a Raspberry, a Plum, a Lemon és a MiniMax-H3 ezt használja, valahányszor az a karakter megszólal, hacsak ki nem kapcsolod a Character Voices funkciót. Az AI karaktergenerátor útmutató bemutatja, hogyan mentheted a karaktereket.

Hangreferenciát közvetlenül is megemlíthetsz egy videóprompt-ban. A Cherry, a Plum és a MiniMax-H3 legfeljebb hármat, a Lemon legfeljebb ötöt, a Blueberry egyet fogad, és a karakterhangok ugyanebbe a korlátba számítanak. A Cherry-nél hang csatolásakor legalább egy képnek lennie kell a promptban, például egy karakternek vagy egy referenciának.

Ha egy szövegnek pontosnak kell lennie, generáld le a klónozott hangon a Seed Audio segítségével, majd nyisd meg a Lipsync funkciót egy portréval vagy egy mentett karakterrel és a hang legfeljebb 15 másodpercével. Az AI beszélő fotó útmutató az egész folyamatot bemutatja.

Csak a saját hangodat vagy olyan hangot klónozz, amelynek használatához egyértelmű engedélyed van. Valós személy hozzájárulás nélküli utánzása nem megengedett a Mage-en, és a közösségi irányelvek tiltják a barátok, hírességek, közszereplők vagy márkák megszemélyesítését káros célból, valamint minden olyan tartalmat, amely a lakóhelyeden jogellenes. Ha valaki kéri, hogy távolíts el egy róla szóló alkotást, távolítsd el.

Szerezz írásos engedélyt, és legyen konkrét: kinek a hangjáról van szó, mit fog mondani, hol jelenik meg, kereskedelmi célú-e a felhasználás, és meddig. A szinkronszínész megállapodásának kifejezetten említenie kell a szintetikus hang használatát; egy általános felvételi nyilatkozat ezt gyakran nem fedi le.

A jog is ebbe az irányba mutat. Az Egyesült Államokban az FCC 2024 februárjában kimondta, hogy az AI által generált hangok „mesterségesnek” számítanak a robothívásokról szóló törvény szerint, így hozzájárulás nélküli használatuk robothívásban jogellenes, a 2024 júliusa óta hatályos tennessee-i ELVIS Act pedig tiltja, hogy valakinek a hangját engedély nélkül AI-val utánozzák. Ez az oldal nem jogi tanács; nézd meg a szabályokat ott, ahol publikálsz.

A videómodellek szolgáltatói a hangot is átvizsgálják. Egy futtatást elutasíthatnak, ha a klip szerzői jogvédett zenét vagy valós személy hangját tartalmazza, az elutasított futtatás költségét pedig visszatérítjük.

• A saját hangod: nyugodtan.
• Valaki más hangja: előbb írásos engedély.
• Közszereplők és hírességek: licenc nélkül nem.
• Soha ne megtévesztésre: ne készíts hamis hívásokat, ajánlásokat vagy kijelentéseket.
• Jelöld a valósághű szintetikus beszédet, ahol a platform kéri.

Klónozz hangot, ha a beszélőnek konkrét valakinek kell lennie: neked, egy beleegyező szinkronszínésznek vagy egy karakternek, akinek már adtál hangot. Ha bármilyen jó hang megfelel, gyorsabbak a beépített hangok: az AI szövegfelolvasó akár 5000 karaktert is felolvas a 16 ElevenLabs-hang egyikén, az AI hanggenerátor pedig azt mutatja be, hogyan irányíthatod az előadásmódot hangcímkékkel, és hogyan írhatsz le új hangot egy promptban.

Az Eleven Speech nem klónoz hangokat a Mage-en: csak a beépített hangjain szólal meg. A klónozás a Seed Audio modellen és azokon a videómodelleken fut, amelyek hangreferenciákat és karakterhangokat fogadnak. Fejlesztőként mindezt megteheted az audiógenerálási API-val.