AI 视频 翻译

AI 视频翻译是把一种语言的视频变成另一种语言：台词被翻译，配上目标语言的新声轨，理想情况下说话人的口型也能对上新台词。完整的配音服务上传一次就能全部搞定。Mage 则把配音和口型拆成两个由你掌控的工具，更适合广告、开场白、角色视频这类短片段，而不是长达一小时的录制内容。

分工是这样的：Mage 不会自动转写或翻译你的视频，也不会添加字幕。新语言的脚本由你、译员或你的 AI 助手来写。接着 Eleven Speech 会用 90 多种语言朗读脚本，Lipsync 则让说话人的静态画面（视频中的一帧清晰画面或已保存的角色）动起来，口型跟随新音频，每个片段最长 15 秒。

成品是由这一帧生成的全新说话片段，而不是把原始素材里的嘴替换掉，所以原视频中说话人的手势和镜头运动不会保留。如果是没有出镜说话人的旁白，完全不需要对口型：直接在剪辑软件里把新配音叠到原画面上即可。至于广告图片里的文字，Ad Localizer 技能会原位替换。

Mage 自动完成的部分：Eleven Speech 把书面脚本转成你所写语言的语音，节奏和情绪可以用 [whispers] 或 [laughs] 之类的标签来控制。Lipsync 把一张图片和最长 15 秒的音频变成主体说出这段话的视频，表情自然，头部带有细微动作。你的助手里的 Ad Localizer 技能会转写静态广告中的文字，由助手翻译，并在你确认文案后，按原有的字体、大小和位置替换每一行。

不是自动完成的部分：转写原始语音、翻译口语对白、让新台词的时间点贴合原片、保留原说话人自己的声音、把背景音乐和人声分离，以及字幕。Mage 没有语音转文字、自动配音或字幕工具。此外，Lipsync 是根据静态画面生成新片段，因此不会保留原始素材的动作、剪辑，也不会保留画面中的其他人。

• 自动：根据你的脚本生成语音，支持 90 多种语言。
• 自动：只需一张图片，口型就能对上新音频。
• 自动：你确认后，图片中的广告文字会被替换。
• 由你负责：转写、翻译和最终审核。
• 暂不支持：字幕，或在原始素材上替换新口型。

配音脚本不是字幕文件。它需要在与原片大致相同的时间内念完，所以翻译时要同时兼顾意思和长度。德语和法语通常比英语长，日语和中文往往更短；篇幅超了就删减句子，而不是加快语速。品牌和产品名保持原样，数字、日期和价格按当地人的说法来读。

如果你在 Claude、ChatGPT 或其他助手中工作，并且已连接 Mage，助手可以先起草译文，并在配音前逐行展示给你确认。译文由助手完成，并非 Mage 的功能，所以如果要用于面向客户的内容，请找母语者审阅。然后在自然停顿处把脚本拆成每段不超过 15 秒的片段，这正是一个 Lipsync 片段的时长。

大多数翻译都可以使用 Eleven Speech。从它的 16 种声音中选一个符合说话人年龄和气质的，用目标语言写好脚本，再用方括号里的音频标签来控制语气。生成的 MP3 时长与脚本完全一致，每次请求最多 5,000 个字符，所以不用再裁剪空白。AI 文字转语音指南详细介绍了声音和标签。

Eleven Speech 只能使用它的预设声音。如果新音轨需要听起来像原说话人，可以用 Seed Audio，它最多可参考三段音频来引导声音，但只能使用你有权使用的声音录音。它只能生成 5、10、30、60 或 120 秒的固定时长，所以在处理完整脚本之前，请先用一句短台词检查时长和语言。AI 声音克隆指南更详细地介绍了如何匹配声音。

克隆自己的声音来做配音是很常见的做法：例如 YouTube 就把它列为无需标注内容经过修改的 AI 使用场景之一。克隆他人的声音则是另一回事，Mage 不允许在未经同意的情况下模仿真实人物。

如果有人对着镜头说话，请从视频中截取这个人最清晰的正面画面，嘴巴要可见，并且处于闭合或放松状态，然后把它作为主体放进 Lipsync。添加翻译后的音频（最长 15 秒），再选择模型：默认是 Plum，而 Blueberry 2 会严格按你提供的图片生成动画，能保留原画面的样子。每个片段都是基于这张静态图的一次全新表演，镜头始终稳定对着说话人。

如果某位说话人会出现在整个系列中，请把他保存为角色，这样每种语言里的脸都保持一致。然后在 Storyboard 中把片段排好，它最多可以把六个片段连同声音合成一个 MP4。AI 会说话的照片指南介绍了如何选出适合做动画的画面。

如果镜头前没有人说话，比如解说类讲解视频、产品演示或屏幕录制，就不需要对口型。直接生成新的旁白，再在视频编辑器里替换音轨即可。Mage 不会替你把新声音混入现有视频。

• 选一张能看到嘴巴的正面画面。
• 每段音频不要超过 15 秒。
• 把经常出现的说话人保存为角色。
• 镜头前没人说话时，在编辑器里替换音频。

静态广告靠文字传达信息：标题、按钮、优惠内容。Ad Localizer 技能可以在你的助手中处理这些文字。它会识别每一行文字，按含义和语气翻译，调整换行、数字格式和从右到左的排版，并把文案展示给你确认。之后用 GPT Image 2.5 Flare 替换图片中的每一行文字，同时保留字体风格、版式、产品和 Logo，品牌名称和包装上的文字则保持原样。它不会翻译视频配音。你可以在 Mage 技能页面找到它，其余的广告制作流程请看 AI 广告生成。