AI 声音 克隆

声音克隆是用某个特定声音的音色来生成新的语音,包括音高、质感、口音和吐字方式。早期系统通常需要很长的录音棚录音和一轮训练。现在许多模型只需一小段参考音频:听几秒钟的声音,就能用与之相近的声音说出新的文字。

在 Mage 中,克隆的声音始于一段音频参考。你可以上传 MP3 或 WAV,选择一个作品或已保存的声音,或粘贴音频或社交媒体链接,再选择片段的起点,Mage 会将最多 15 秒的内容保存在一个 @handle 下。在 Seed Audio 提示词中提及这个 handle,它就会用该声音说出你的文字,并输出为长度与你设定完全一致的 MP3。无需训练:每次使用时都会直接读取这段音频。

同一个声音也能用于视频。把片段保存为角色的声音后,Cherry、Raspberry、Plum、Lemon 和 MiniMax-H3 会在该角色说话时使用它;Cherry、Plum、Lemon、MiniMax-H3 和 Blueberry 还支持在视频提示词中使用音频参考。请只克隆你自己的声音,或你明确获得授权的声音。

模型会复制它听到的一切,包括房间的声音。在有回声的厨房里录的音频,生成出来也会像在厨房里。请在摆有软装的小房间里录音,离麦克风一两个手掌的距离,背景里不要有音乐、电视或其他人的声音。在安静的衣柜里用手机录音,往往比在空荡荡的房间里用好麦克风效果更好。

用你希望之后呈现的声音风格来说话。平静均匀的朗读会克隆成平静的旁白;生动的朗读会克隆出活力。请录十到十五秒连续的说话,包含几句不同的话,让模型听到多种发音,并避免长时间停顿、咳嗽和笑声。

如果最好的一段在较长的录音里,可以上传整个文件,并把起始时间设置在最好的 15 秒处。角色声音只保留 10 秒,所以为角色选择时,请挑最像他们的那 10 秒。

• 一位说话人,安静的房间,没有音乐。
• 十到十五秒连续的说话。
• 用你想要的语气来朗读。
• 用起始时间选出最好的片段。
• 保持音量平稳:不要爆音,也不要耳语。

在 Seed Audio 中,用 @handle 提及这个声音,把确切的台词放在引号里,并描述说话方式和空间:“@ana-voice,温暖从容,在安静的房间里贴近麦克风说:……”。@handle 带来声音本身的音色,描述则决定表演的效果。

先选好时长再写台词。Seed Audio 会返回你所选的确切时长(5、10、30、60 或 120 秒),并通过补足或裁剪来匹配,所以台词要和时长相称。人们自然语速下每秒说两到三个词,也就是说 10 秒的台词大约 20 到 30 个词。如果朗读需要微调,语速、音量和音高都有各自独立的设置。

一次 Seed Audio 生成最多可使用三个音频参考或一个图片参考,二者不能同时使用。如果想根据图片为场景配音,请不带声音单独生成,再用另一段音频加入声音。

• 在台词前提及 @handle。
• 把确切的台词放在引号里。
• 描述说话方式和房间环境。
• 先选时长,再配合写台词。

最简单的方式是使用角色声音。创建或编辑角色时,打开“角色声音”,上传 MP3 或 WAV(保留从起始时间开始的前 10 秒),也可以根据角色图片生成,并可选填描述,所需 Gems 会显示在按钮上。之后,只要该角色说话,Cherry、Raspberry、Plum、Lemon 和 MiniMax-H3 就会使用这个声音,除非你关闭角色声音。AI 角色生成器指南介绍了如何保存角色。

你也可以直接在视频提示词中提及音频参考。Cherry、Plum 和 MiniMax-H3 最多支持三个,Lemon 最多五个,Blueberry 支持一个,角色声音也计入同一上限。附加音频时,Cherry 要求提示词中至少有一张图片,例如角色或参考图。

如果台词必须一字不差,先用 Seed Audio 以克隆的声音生成,然后打开对口型,配合一张人像或已保存的角色,以及最长 15 秒的该音频。AI 说话照片指南展示了完整流程。

只克隆你自己的声音,或你明确获得使用许可的声音。Mage 不允许未经同意模仿真实的人,社区准则禁止出于有害目的冒充朋友、名人、公众人物或品牌,也禁止任何在你所在地违法的内容。如果有人要求你删除以他们为主角的作品,请删除。

请取得书面许可,并写得具体:谁的声音、会说什么、会出现在哪里、是否商用以及期限多长。配音演员的协议应明确写明可用于合成声音;一般的录音授权通常并不涵盖这一点。

法律的态度也是一致的。在美国,FCC 于 2024 年 2 月裁定,AI 生成的声音属于机器人电话法中的“人工”声音,因此未经同意在自动电话中使用是违法的;田纳西州的 ELVIS 法案自 2024 年 7 月起生效,禁止未经许可使用 AI 模仿他人的声音。本页面不构成法律建议,请查阅你发布内容所在地的规定。

视频模型的提供方也会审核音频。如果音频包含受版权保护的音乐或真人的声音,生成可能会被拒绝,被拒绝的生成会退还费用。

• 你自己的声音:放心用。
• 别人的声音:先取得书面许可。
• 公众人物和名人:没有授权不可使用。
• 绝不用于欺骗:不得伪造通话、代言或言论。
• 平台有要求时,请标注逼真的合成语音。

当说话的必须是特定的人时,就克隆声音:比如你自己、同意授权的配音演员,或你已经配过音的角色。如果任何好听的声音都行,预设声音更快:AI 文字转语音可用 16 种 ElevenLabs 声音之一朗读最多 5,000 个字符,而AI 语音生成器则介绍了如何用音频标签控制朗读,以及如何在提示词中描述一种新的声音。

Eleven Speech 在 Mage 上不支持克隆声音,只能使用它的预设声音。克隆功能由 Seed Audio 以及支持音频参考和角色声音的视频模型提供。开发者可以通过音频生成 API完成所有这些操作。