AI-stem klonen

Stemklonen maakt nieuwe spraak met het geluid van één specifieke stem: toonhoogte, textuur, accent en de manier waarop die stem woorden vormt. Eerdere systemen hadden meestal lange studio-opnamen en een trainingsronde nodig. Veel huidige modellen werken met een korte referentieclip: ze luisteren naar een paar seconden van de stem en spreken nieuwe tekst uit in een stem die erbij past.

Op Mage begint een gekloonde stem als audioreferentie. Je uploadt een MP3 of WAV, kiest een creatie of een opgeslagen geluid, of plakt een audio- of sociale link, bepaalt waar de clip begint, en Mage bewaart maximaal 15 seconden onder een @handle. Noem die handle in een Seed Audio-prompt, en je tekst wordt in die stem uitgesproken als MP3 met precies de lengte die je instelt. Er is geen trainingsstap: de clip wordt elke keer gelezen als je hem gebruikt.

Dezelfde stem werkt ook in video. Sla een clip op als stem van een personage en Cherry, Raspberry, Plum, Lemon en MiniMax-H3 gebruiken die zodra dat personage praat; Cherry, Plum, Lemon, MiniMax-H3 en Blueberry accepteren ook audioreferenties in een videoprompt. Kloon alleen je eigen stem, of een stem waarvoor je duidelijke toestemming hebt.

Het model kopieert wat het hoort, inclusief de ruimte. Een opname uit een keuken met echo klinkt na het klonen ook als een keuken. Neem op in een kleine ruimte met zachte meubels, een handbreedte of twee van de microfoon, zonder muziek, tv of andere stemmen op de achtergrond. Een spraakmemo met je telefoon in een stille kast klinkt vaak beter dan een goede microfoon in een kale ruimte.

Praat zoals je later wilt dat de stem klinkt. Een rustige, gelijkmatige voordracht wordt een rustige voice-over; een levendige voordracht levert energie op. Gebruik tien tot vijftien seconden aaneengesloten spraak met een paar verschillende zinnen, zodat het model een breed scala aan klanken hoort, en vermijd lange pauzes, hoesten en lachen.

Zit je beste take in een langere opname, upload dan het hele bestand en zet de starttijd op de sterkste 15 seconden. Een personagestem bewaart 10 seconden, dus kies voor een personage de 10 seconden die het meest op het personage lijken.

• Eén spreker, een stille ruimte, geen muziek.
• Tien tot vijftien seconden aaneengesloten spraak.
• Lees in de toon die je terug wilt horen.
• Kies met de starttijd het beste fragment.
• Houd het niveau gelijkmatig: geen clipping, niet fluisteren.

Noem in Seed Audio de stem met de @handle, zet de exacte woorden tussen aanhalingstekens en beschrijf de voordracht en de ruimte: "@ana-voice, warm en rustig, dicht bij de microfoon in een stille kamer, zegt: …". De handle zorgt voor het geluid van de stem; de beschrijving bepaalt de uitvoering.

Kies de lengte voordat je schrijft. Seed Audio geeft precies de duur die je kiest, 5, 10, 30, 60 of 120 seconden, en vult aan of knipt af waar nodig, dus stem de woorden daarop af. Mensen praten in een natuurlijk tempo met twee tot drie woorden per seconde, dus een zin van 10 seconden telt 20 tot 30 woorden. Spreeksnelheid, volume en toonhoogte zijn aparte instellingen als de voordracht een duwtje nodig heeft.

Eén run van Seed Audio accepteert tot drie audioreferenties of één afbeeldingsreferentie, niet beide. Wil je een scène op basis van een afbeelding van geluid voorzien, doe dat dan zonder de stem en voeg de stem toe in een aparte clip.

• Noem de @handle vóór de tekst.
• Zet de exacte woorden tussen aanhalingstekens.
• Beschrijf de voordracht en de ruimte.
• Kies eerst de duur en pas daarna de woorden aan.

De eenvoudigste manier is een personagestem. Als je een personage maakt of bewerkt, open je Personagestem en upload je een MP3 of WAV (de eerste 10 seconden vanaf je starttijd blijven behouden), of genereer je er een op basis van de afbeelding van het personage, eventueel met een beschrijving. De prijs in Gems staat op de knop. Vanaf dan gebruiken Cherry, Raspberry, Plum, Lemon en MiniMax-H3 de stem telkens als dat personage praat, tenzij je Personagestemmen uitzet. De gids over de AI-personagegenerator legt uit hoe je personages opslaat.

Je kunt een audioreferentie ook direct in een videoprompt noemen. Cherry, Plum en MiniMax-H3 accepteren er maximaal drie, Lemon maximaal vijf en Blueberry één, en personagestemmen tellen mee voor dezelfde limiet. Cherry heeft minstens één afbeelding in de prompt nodig, zoals een personage of een referentie, als je audio toevoegt.

Moet een zin exact kloppen, genereer die dan in de gekloonde stem met Seed Audio en open daarna Lipsync met een portret of een opgeslagen personage en maximaal 15 seconden van die audio. De gids over de pratende AI-foto laat de hele werkwijze zien.

Kloon alleen je eigen stem of een stem waarvoor je duidelijke toestemming hebt. Een echt persoon nabootsen zonder toestemming is niet toegestaan op Mage, en de communityrichtlijnen verbieden het imiteren van vrienden, beroemdheden, publieke figuren of merken met schadelijke bedoelingen, en alle content die illegaal is waar jij woont. Vraagt iemand je een creatie te verwijderen waarin diegene voorkomt, verwijder die dan.

Vraag schriftelijk toestemming en maak die specifiek: wiens stem, wat de stem gaat zeggen, waar het te zien of te horen is, of het commercieel gebruik is en hoe lang. In een overeenkomst met een stemacteur moet synthetisch stemgebruik uitdrukkelijk staan; een algemene opnametoestemming dekt dat vaak niet.

De wet gaat dezelfde kant op. In de VS oordeelde de FCC in februari 2024 dat door AI gegenereerde stemmen "kunstmatig" zijn onder de wet op robocalls, dus het gebruik ervan in een robocall zonder toestemming is illegaal, en de ELVIS Act van Tennessee, van kracht sinds juli 2024, verbiedt het gebruik van AI om iemands stem zonder toestemming na te bootsen. Deze pagina is geen juridisch advies; controleer de regels op de plek waar je publiceert.

Ook de aanbieders van videomodellen controleren audio. Een run kan worden geweigerd omdat een clip auteursrechtelijk beschermde muziek of de stem van een echt persoon bevat. Een geweigerde run wordt terugbetaald.

• Je eigen stem: ga je gang.
• De stem van iemand anders: eerst schriftelijke toestemming.
• Publieke figuren en beroemdheden: niet zonder licentie.
• Nooit om te misleiden: geen nepgesprekken, aanbevelingen of uitspraken.
• Label realistische synthetische spraak als een platform daarom vraagt.

Kloon een stem als de spreker iemand specifiek moet zijn: jijzelf, een stemacteur die ermee akkoord is gegaan of een personage dat je al van een stem hebt voorzien. Is elke goede stem prima, dan gaan vooraf ingestelde stemmen sneller: AI-tekst-naar-spraak leest tot 5.000 tekens voor in een van 16 ElevenLabs-stemmen, en de gids over de AI-stemgenerator gaat over het regisseren van een voordracht met audiotags en het beschrijven van een nieuwe stem in een prompt.

Eleven Speech kloont geen stemmen op Mage: het spreekt alleen met de vooraf ingestelde stemmen. Klonen werkt met Seed Audio en met de videomodellen die audioreferenties en personagestemmen lezen. Ontwikkelaars kunnen dit alles doen via de API voor audiogeneratie.