Clonagem de voz com IA

A clonagem de voz cria fala nova com o som de uma voz específica: o tom, a textura, o sotaque e o jeito de formar as palavras. Os sistemas antigos costumavam exigir longas gravações de estúdio e uma etapa de treinamento. Muitos modelos atuais funcionam com um clipe de referência curto: eles ouvem alguns segundos da voz e falam um novo texto com uma voz parecida.

No Mage, uma voz clonada começa como uma referência de áudio. Você envia um MP3 ou WAV, escolhe uma criação ou um som salvo, ou cola um link de áudio ou de rede social, define onde o clipe começa, e o Mage guarda até 15 segundos sob um @handle. Mencione esse handle em um prompt do Seed Audio e ele fala seu texto com essa voz, em um MP3 com exatamente a duração que você definir. Não há etapa de treinamento: o clipe é lido a cada uso.

A mesma voz passa para o vídeo. Salve um clipe como a voz de um personagem e Cherry, Raspberry, Plum, Lemon e MiniMax-H3 a usam sempre que esse personagem fala; Cherry, Plum, Lemon, MiniMax-H3 e Blueberry também aceitam referências de áudio em um prompt de vídeo. Clone apenas a sua própria voz ou uma voz que você tenha permissão clara para usar.

O modelo copia o que ouve, inclusive o ambiente. Um trecho gravado numa cozinha com eco volta soando como uma cozinha. Grave em um cômodo pequeno com itens macios, como cortinas e sofás, a um palmo ou dois do microfone, sem música, TV ou outras vozes ao fundo. Um memorando de voz do celular dentro de um armário silencioso muitas vezes supera um bom microfone em uma sala vazia.

Fale do jeito que você quer que a voz soe depois. Uma leitura calma e uniforme vira uma narração calma; uma leitura animada vira energia. Use de dez a quinze segundos de fala contínua com algumas frases diferentes, para o modelo ouvir uma variedade de sons, e evite pausas longas, tosses e risadas.

Se a sua melhor tomada estiver dentro de uma gravação mais longa, envie o arquivo inteiro e defina o tempo de início nos 15 segundos mais fortes. A voz de um personagem guarda 10 segundos, então, para um personagem, escolha os 10 segundos que mais combinam com ele.

• Uma só pessoa, ambiente silencioso, sem música.
• De dez a quinze segundos de fala contínua.
• Leia no tom que você quer receber.
• Use o tempo de início para escolher o melhor trecho.
• Mantenha o volume estável: sem estourar e sem sussurrar.

No Seed Audio, mencione a voz pelo @handle, coloque as palavras exatas entre aspas e descreva a entrega e o espaço: "@ana-voice, calorosa e sem pressa, perto do microfone em um ambiente silencioso, diz: …". O handle traz o som da voz; a descrição molda a interpretação.

Escolha a duração antes de escrever. O Seed Audio entrega exatamente a duração que você escolher, 5, 10, 30, 60 ou 120 segundos, preenchendo ou cortando para caber, então ajuste as palavras a ela. As pessoas falam de duas a três palavras por segundo em ritmo natural, o que dá de 20 a 30 palavras em uma fala de 10 segundos. Velocidade da fala, volume e tom são configurações à parte, para quando a leitura precisar de um empurrãozinho.

Cada execução do Seed Audio aceita até três referências de áudio ou uma referência de imagem, não as duas. Para criar a trilha de uma cena a partir de uma imagem, execute sem a voz e adicione a voz em um clipe separado.

• Mencione o @handle antes da fala.
• Coloque as palavras exatas entre aspas.
• Descreva a entrega e o ambiente.
• Escolha a duração primeiro e depois ajuste as palavras.

O caminho mais simples é a voz de personagem. Ao criar ou editar um personagem, abra Voz do personagem e envie um MP3 ou WAV (os primeiros 10 segundos a partir do seu tempo de início são mantidos) ou gere uma voz a partir da imagem do personagem, com uma descrição opcional, com o preço em Gems indicado no botão. A partir daí, Cherry, Raspberry, Plum, Lemon e MiniMax-H3 usam essa voz sempre que o personagem falar, a menos que você desative as vozes de personagem. O guia de gerador de personagens com IA explica como salvar personagens.

Você também pode mencionar uma referência de áudio diretamente em um prompt de vídeo. Cherry, Plum e MiniMax-H3 aceitam até três, Lemon até cinco e Blueberry uma, e as vozes de personagem contam para o mesmo limite. O Cherry precisa de pelo menos uma imagem no prompt, como um personagem ou uma referência, quando você anexa áudio.

Para uma fala que precisa ser exata, gere-a na voz clonada com o Seed Audio e depois abra o Lipsync com um retrato ou um personagem salvo e até 15 segundos desse áudio. O guia de foto falante com IA mostra o fluxo completo.

Clone apenas a sua própria voz ou uma voz que você tenha permissão clara para usar. Imitar uma pessoa real sem o consentimento dela não é permitido no Mage, e as diretrizes da comunidade proíbem se passar por amigos, celebridades, figuras públicas ou marcas com fins prejudiciais, além de qualquer conteúdo ilegal no lugar onde você mora. Se alguém pedir que você remova uma criação em que aparece, remova.

Obtenha a permissão por escrito e seja específico: de quem é a voz, o que ela vai dizer, onde vai aparecer, se o uso é comercial e por quanto tempo. O contrato de um dublador deve citar explicitamente o uso de voz sintética; uma autorização geral de gravação muitas vezes não cobre isso.

A lei segue na mesma direção. Nos EUA, a FCC decidiu em fevereiro de 2024 que vozes geradas por IA são consideradas "artificiais" pela lei de robocalls, então usar uma em uma chamada automática sem consentimento é ilegal, e o ELVIS Act do Tennessee, em vigor desde julho de 2024, proíbe usar IA para imitar a voz de uma pessoa sem permissão. Esta página não é aconselhamento jurídico; confira as regras do lugar onde você publica.

Os provedores dos modelos de vídeo também filtram o áudio. Uma execução pode ser recusada porque um clipe contém música protegida por direitos autorais ou a voz de uma pessoa real, e a execução recusada é reembolsada.

• Sua própria voz: pode usar.
• A voz de outra pessoa: antes, permissão por escrito.
• Figuras públicas e celebridades: não sem uma licença.
• Nunca para enganar: sem ligações, endossos ou declarações falsas.
• Indique quando a fala sintética for realista, se a plataforma pedir.

Clone uma voz quando o falante precisa ser alguém específico: você, um dublador que concordou com isso ou um personagem que você já dublou. Quando qualquer boa voz servir, as vozes predefinidas são mais rápidas: o texto para fala com IA lê até 5.000 caracteres em uma de 16 vozes da ElevenLabs, e o gerador de voz com IA explica como dirigir uma leitura com tags de áudio e descrever uma nova voz em um prompt.

O Eleven Speech não clona vozes no Mage: ele fala apenas com as vozes predefinidas. A clonagem funciona no Seed Audio e nos modelos de vídeo que leem referências de áudio e vozes de personagem. Desenvolvedores podem fazer tudo isso pela API de geração de áudio.