AI動画 翻訳

AI動画翻訳は、ある言語の動画を別の言語に変換するものです。セリフの翻訳、ターゲット言語の新しい音声トラック、そして理想的には新しいセリフに合わせて口が動く話し手までを含みます。フル機能の吹き替えサービスは、1回のアップロードですべてを行います。Mageでは、音声と口の動きをそれぞれ別のツールで自分でコントロールします。数時間に及ぶ録画よりも、広告、イントロ、キャラクター動画などの短いクリップに向いています。

役割分担は次のとおりです。Mageは動画の文字起こしや自動翻訳、字幕の追加は行いません。新しい言語の台本は、ご自身、翻訳者、またはAIアシスタントが用意します。その台本をEleven Speechが90以上の言語で読み上げ、Lipsyncが話し手の静止画(動画から選んだ鮮明なフレームや保存したキャラクター)を動かして、新しい音声に合わせた口の動きにします。1クリップあたり最大15秒です。

仕上がるのは、そのフレームから作られた新しい話す動画であり、元の映像の口だけを差し替えたものではありません。そのため、元の話し手のジェスチャーやカメラワークは引き継がれません。話し手が映らないナレーションなら、リップシンクは不要です。編集ソフトで元の映像に新しい音声を重ねるだけです。広告画像内のテキストは、Ad Localizerスキルがその場で置き換えます。

Mageで自動:Eleven Speechは、書いた台本をその言語の音声に変換します。[whispers]や[laughs]などのタグで、間や感情を演出できます。Lipsyncは、1枚の画像と最大15秒の音声から、被写体が話す動画を作成します。自然な表情や、ほのかな頭の動きも加わります。アシスタント上のAd Localizerスキルは、静止画広告内のテキストを文字起こしし、アシスタントに翻訳させ、コピーを承認すると、各行を元のフォント、サイズ、位置で置き換えます。

自動ではないもの:元の音声の文字起こし、話し言葉の翻訳、新しいセリフのタイミングを元に合わせる作業、元の話し手本人の声の再現、BGMと音声の分離、字幕。Mageには音声のテキスト化、自動吹き替え、キャプションのツールはありません。また、Lipsyncは静止画から新しいクリップを作るため、元の映像の動き、カット、映っている他の人物は引き継がれません。

• 自動:台本から90以上の言語で音声を生成。
• 自動:1枚の画像から、新しい音声に口の動きを同期。
• 自動:画像内の広告テキストを、承認後に置き換え。
• ご自身で:文字起こし、翻訳、最終チェック。
• 非対応:字幕、元の映像への新しい口の動きの適用。

吹き替え用の台本は字幕ファイルとは違います。元とほぼ同じ時間で話せる必要があるため、意味と長さの両方を考えて翻訳しましょう。ドイツ語やフランス語は英語より長くなりやすく、日本語や中国語は短くなりやすい傾向があります。音声を速くするのではなく、行を短くしてください。ブランド名や製品名はそのまま残し、数字、日付、価格は現地の人が言う形で表現します。

Claude、ChatGPT、その他のアシスタントを使う場合は、Mageを接続、アシスタントが翻訳案を作成し、音声にする前に1行ずつ確認できます。この翻訳はアシスタントによるもので、Mageの機能ではありません。顧客向けに使う場合は、ネイティブの方に確認してもらってください。そのあと、スクリプトを自然な間で区切り、Lipsync 1クリップ分にあたる15秒以内のパートに分けます。

ほとんどの翻訳には Eleven Speech がおすすめです。16種類のボイスから話者の年齢や雰囲気に合うものを選び、ターゲット言語でスクリプトを書き、角かっこのオーディオタグで読み方を指定します。MP3の長さはスクリプトとぴったり同じで、1リクエストあたり最大5,000文字。無音部分をカットする手間もありません。ボイスやタグの詳細は、AI音声読み上げのガイドで紹介しています。

Eleven Speechで使えるのはプリセットのボイスだけです。新しい音声を元の話者の声に近づけたいときは、Seed Audio を使うと、最大3つの音声リファレンスから声を再現できます。使えるのは、使用許可のある声の録音だけです。生成される長さは5秒、10秒、30秒、60秒、120秒のいずれかなので、スクリプト全体を作る前に、短い1行でタイミングと言語を確認しましょう。声を合わせる方法については、AIボイスクローンのガイドで詳しく説明しています。

吹き替えのために自分の声をクローンするのは一般的な使い方で、たとえばYouTubeでも、改変コンテンツの開示が不要なAIの利用例に挙げられています。一方、他人の声をクローンするのは別の話で、Mageでは本人の同意なく実在の人物を模倣することを禁止しています。

人物がカメラに向かって話している場合は、動画から正面を向いたいちばん鮮明なフレームを選びます。口が見えていて、閉じているか力が抜けた状態のものが適しています。それを Lipsync の被写体として使います。翻訳した音声(最大15秒)を追加し、モデルを選びましょう。デフォルトはPlumで、Blueberry 2は渡した画像そのものをアニメーションにするため、元のフレームの雰囲気が保たれます。各クリップは、その静止画から生成される新しいパフォーマンスで、カメラは話者に固定されたままです。

シリーズに繰り返し登場する話者は、キャラクターとして保存しておくと、どの言語でも顔がまったく同じになります。そのあと、Storyboard でクリップを並べれば、最大6つを音声つきの1本のMP4にまとめられます。動きのよい フレームの選び方は、AIトーキングフォトのガイドで紹介しています。

ナレーション付きの解説動画、商品デモ、画面収録など、カメラの前で誰も話していない場合は、リップシンクは不要です。新しいナレーションを生成し、動画編集ソフトで音声トラックを差し替えてください。Mageでは、既存の動画に新しい音声をミックスすることはできません。

• 口が見える、正面向きのフレームを選ぶ。
• 音声は1パートあたり15秒以内にする。
• 繰り返し登場する話者はキャラクターとして保存する。
• カメラに誰も映っていないときは、編集ソフトで音声を差し替える。

静止画の広告では、見出し、ボタン、オファーといったテキストでメッセージを伝えます。これらはアシスタント上のAd Localizerスキルで処理できます。すべての行を書き起こし、意味とトーンを踏まえて翻訳し、改行、数字の表記、右から左へ読むレイアウトを調整して、承認用にコピーを表示します。そのあと、GPT Image 2.5 Flareで画像内の各行を置き換えます。フォントのスタイル、レイアウト、商品、ロゴはそのままで、ブランド名やパッケージ上の文字も変更しません。動画のナレーションは翻訳しません。スキルはMageスキルのページにあります。広告制作のそのほかの流れは、AI広告生成をご覧ください。