AIリップ シンク

AIリップシンクは、静止画と音声クリップから、被写体がその音声を話したり歌ったりする動画を作る技術です。モデルが音を聞き取り、音節ごとに必要な口の形を割り出して、それに合わせて顔をアニメーションさせます。小さな頭の動きや表情も加わるので、写真の口がパクパク動くだけの不自然さがなく、本当に話しているように見えます。

MageのLipsyncアプリなら、1枚の画像からこれができます。写真をアップロードするか保存済みのキャラクターを選び、最長15秒のセリフ、歌、ナレーションを追加して、動画モデルを選ぶだけ。カメラは被写体に固定されたまま、画像の見た目、構図、ライティング、背景がそのまま保たれます。新しい背景やムードなどの短いシーン指示も追加でき、Mageは独自のリップシンク指示のあとにそれを反映します。

すでに音声がある人のためのツールです。商品クリップのボイスオーバー、別の言語に吹き替えたセリフ、ポッドキャストの名言、歌のワンフレーズなどに使えます。声そのものがまだなら、先にSeed Audioで作ってから持ってきてください。話すだけならLipsyncが最適です。カメラワークやダンスを交えて歌い踊るパフォーマンスにしたいなら、Music Videoアプリのほうが向いています。

仕上がりの大半は音声で決まります。声が1人分で、BGMや部屋の反響がないクリアな録音なら、モデルは音節をはっきり追えます。BGMや重なった話し声は、口の形のもとになる子音をぼかしてしまいます。必要なセリフだけにクリップを切り出し、冒頭の無音もカットしてください。無音の間、顔は何も話さずに待つことになるためです。

残りは画像で決まります。フレームの中で顔が大きめに写り、ほぼカメラのほうを向き、口が隠れていないと、モデルが動かしやすくなります。口元を覆う手、真横の横顔、引きの構図での小さな顔は、クリップが不自然になるよくある原因です。生成したポートレートから始める場合は、最初のフレームが話の途中にならないよう、口を閉じた状態か力を抜いた状態で作ってください。

• 音声は必要なセリフだけに切り出す(最大15秒)
• BGMなしのクリアな声を1人分使う
• 口が見える正面向きの写真を選ぶ
• シーン指示は短く。場所、服装、雰囲気のどれか
• 何かを書き直す前に、別のモデルを試す

Lipsyncは1回の実行で最大15秒の音声に対応します。ナレーション全体や長めの曲は、区切りのよい箇所で15秒以内に分け、同じ写真または保存したキャラクターで1つずつ合わせてください。保存したキャラクターなら、セグメントが変わっても顔がまったく同じなので、つなぎ目が目立ちません。

セグメントが揃ったら、Storyboardで並べましょう。保存したクリップを最大6本まで順番に配置し、音声つきの1本のMP4として書き出せます。ゼロから始める場合は、AIトーキングフォトのガイドで、顔のアニメーションに加えて音声のセリフの書き方も紹介しています。

リップシンクは、短いクリップの吹き替えに便利です。新しい言語でセリフを録音または生成し、元のテンポに近い話し方にして、使用許可のある話者の静止画に合わせて実行します。口は新しい音声からアニメーションされるため、唇は元の言葉ではなく翻訳後の言葉に合わせて動きます。

繰り返し登場するナレーターや、シリーズを通して話すキャラクターには、まずAIキャラクター作成で顔を一度作り、話すシーンの合間にAI画像から動画への変換で動きのあるショットを挟みましょう。カメラワーク付きの歌唱シーンなら、AIミュージックビデオ生成がまさにうってつけです。