AI 影片 翻譯

AI 影片翻譯會把一支影片轉換成另一種語言:翻譯台詞、產生目標語言的新配音,理想情況下還能讓說話者的嘴型對上新台詞。完整的配音服務只要上傳一次就能全部完成。Mage 則是用你能自行掌控的獨立工具來處理語音與嘴型,比起長達數小時的錄影,更適合廣告、開場片頭和角色影片這類短片。

分工是這樣的:Mage 不會自行轉錄或翻譯你的影片,也不會加上字幕。新語言的腳本由你、翻譯人員或你的 AI 助理來撰寫。接著 Eleven Speech 會用 90 多種語言朗讀腳本,Lipsync 則會讓說話者的靜態畫面(可以是影片中清晰的一格,或已儲存的角色)動起來,讓嘴型跟著新的音訊,每支影片最長 15 秒。

成果是以該畫面生成的全新說話影片,而不是把原始影片的嘴巴換掉,所以原片中說話者的手勢和運鏡都不會保留。如果是畫面中沒有說話者的旁白,完全不需要對嘴型:直接在剪輯軟體中把新的配音疊在原始畫面上即可。至於廣告圖片中的文字,Ad Localizer 技能可以就地替換。

Mage 自動完成的部分:Eleven Speech 會把書面腳本轉成你所寫語言的語音,節奏與情緒可用 [whispers] 或 [laughs] 等標籤來控制。Lipsync 會把一張圖片和最長 15 秒的音訊,轉成主角說出這段話的影片,表情自然,頭部也有細微動作。你助理中的 Ad Localizer 技能會轉錄靜態廣告中的文字,交給助理翻譯,並在你確認文案後,以原本的字型、大小和位置替換每一行。

無法自動完成的部分:轉錄原始語音、翻譯口語對白、讓新台詞的時間長度對上原片、保留原說話者本人的聲音、把配樂與人聲分離,以及字幕。Mage 沒有語音轉文字、自動配音或字幕工具。此外,Lipsync 是用靜態畫面生成新影片,因此不會保留原始影片的動作、剪輯,或畫面中的其他人物。

• 自動:依你的腳本生成 90 多種語言的語音。
• 自動:只需一張圖片,嘴型就會對上新的音訊。
• 自動:經你確認後,替換圖片中的廣告文字。
• 由你負責:逐字稿、翻譯和最終檢查。
• 無法使用:字幕,或在原始影片上換上新嘴型。

配音腳本不是字幕檔。它得在差不多與原片相同的時間內念完,所以翻譯時要同時兼顧語意和長度。德文和法文通常比英文長,日文和中文通常較短;太長時請精簡句子,而不是加快語速。品牌和產品名稱保持原樣,數字、日期和價格則要用當地人的說法來表達。

如果你使用 Claude、ChatGPT 或其他已連接 Mage，助理可以先擬好翻譯，並在任何內容配成語音之前逐行讓你確認。這份翻譯出自助理，並不是 Mage 的功能，所以如果要用在對外給客戶的內容，請找母語人士檢查一遍。接著在自然停頓處把腳本切成每段 15 秒以內，這就是一支 Lipsync 片段的長度。

大多數翻譯都適合使用 Eleven Speech。從它的 16 種聲音中挑一個符合說話者年齡與氣質的，用目標語言寫好腳本，再用方括號裡的音訊標籤來引導語氣。MP3 的長度會和腳本完全一致，每次請求最多 5,000 字元，所以不需要再修剪空白。想深入了解聲音與標籤，請參閱 AI 文字轉語音 指南。

Eleven Speech 只能使用內建的預設聲音。如果新的音軌要聽起來像原本的說話者，Seed Audio 可以用最多三段音訊參考來引導聲音，但只能使用你有權使用的人聲錄音。它產出的長度是固定的 5、10、30、60 或 120 秒，所以在處理完整腳本之前，先用一句短句確認時間長度和語言。想了解更多聲音比對的做法，請參閱 AI 聲音複製 指南。

複製自己的聲音來配音是很普遍的做法：例如 YouTube 就把這類用法列為不需要揭露內容經過修改的 AI 用途。複製他人的聲音則是另一回事，Mage 不允許在未經本人同意的情況下模仿真人。

當人物對著鏡頭說話時，從影片中挑出他最清楚的正面畫面，嘴巴要看得到，且是閉上或放鬆的狀態，然後在 Lipsync 中把它設為主體。加入翻譯後的音訊（最長 15 秒），再選擇模型：預設是 Plum，而 Blueberry 2 會直接讓你提供的那張圖片動起來，能保留原始畫面的樣貌。每支片段都是以這張靜態圖產生的全新表演，鏡頭則穩定對著說話者。

如果說話者會出現在整個系列中，請把他儲存為角色，這樣每種語言版本的臉都會一模一樣。接著在 Storyboard 中排列這些片段，最多可將六支連同聲音合併成一個 MP4。想了解如何挑選動起來效果好的畫面，請參閱 AI 說話照片 指南。

如果鏡頭前沒有人說話，例如旁白講解影片、產品示範或螢幕錄影，就不需要對嘴。直接生成新的旁白，再到影片編輯軟體中替換音軌即可。Mage 不會幫你把新的聲音混進現有的影片。

• 選擇看得到嘴巴的正面畫面。
• 每段音訊控制在 15 秒以內。
• 把常出現的說話者儲存為角色。
• 鏡頭前沒有人時，在編輯軟體中替換音訊。

靜態廣告的訊息都放在文字裡：標題、按鈕、優惠內容。Ad Localizer 技能可以在你的助理中處理這些文字。它會轉錄每一行文字，依照語意和語氣翻譯，調整換行、數字格式和由右至左的版面，並把文案交給你確認。接著它會用 GPT Image 2.5 Flare 取代圖片中的每一行文字，同時保留字體風格、版面、產品和標誌，品牌名稱與包裝上的文字則維持原樣。它不會翻譯影片旁白。你可以在 Mage 技能 頁面找到它；其餘的廣告製作流程，請參閱 AI 廣告生成器。