Yapay Zeka Dudak Senkronu

Yapay zeka dudak senkronu, durağan bir görseli ve bir ses klibini, konunun o sesi konuştuğu ya da söylediği bir videoya dönüştürür. Model sesi dinler, her hecenin gerektirdiği ağız şeklini çıkarır ve yüzü buna uygun canlandırır; küçük baş hareketleri ve ifadeler de eklenir, böylece konuşma fotoğraf üzerinde açılıp kapanan bir ağız gibi değil, gerçek gibi görünür.

Mage'in Lipsync uygulaması bunu tek bir görselden yapar. Bir fotoğraf yükle ya da kayıtlı bir karakter seç, 15 saniyeye kadar bir ses kaydı, şarkı veya anlatım ekle ve bir video modeli seç. Kamera konuya sabit kalırken konu, görselindeki görünümü, kadrajı, ışığı ve ortamı korur. Yeni bir arka plan ya da bir atmosfer gibi kısa bir sahne yönlendirmesi de ekleyebilirsin; Mage bunu kendi dudak senkronu talimatından sonra uygular.

Sesi zaten hazır olan yaratıcılar için tasarlandı: bir ürün klibi için seslendirme, başka bir dile dublajlı bir cümle, bir podcast alıntısı, bir şarkı kıtası. Sesin kendisine hâlâ ihtiyacın varsa önce Seed Audio ile üret ve buraya getir. Kişi sadece konuşacaksa Lipsync doğru araç. Kamera hareketleri ve danslarla performans sergilemesi gerekiyorsa Music Video uygulaması daha uygun.

Sonucun büyük kısmını ses belirler. Tek sesli, müziksiz ve yankısız bir kayıt, modele takip edebileceği net heceler verir. Fon müziği ve üst üste konuşmalar, ağız şekillerinin dayandığı ünsüzleri bulanıklaştırır. Bu yüzden klibi ihtiyacın olan cümleye göre kırp ve baştaki sessizliği kes; çünkü hiçbir şey söylenmezken yüz öylece bekler.

Gerisini görsel belirler. Karenin büyük kısmını kaplayan, kabaca kameraya bakan ve ağzı açıkta olan bir yüz modele çalışma alanı sağlar. Ağzın önündeki eller, keskin yan profiller ve geniş planlardaki çok küçük yüzler, bir klibin kötü görünmesinin olağan nedenleridir. Yapay zekayla üretilmiş bir portreden başlıyorsan, ilk kareler kelimenin ortasında başlamasın diye ağzı kapalı ya da rahat bir halde üret.

• Sesi tam o cümleye göre kırp, en fazla 15 saniye
• Müziksiz, tek ve net bir ses kullan
• Karşıdan çekilmiş, ağzı görünen bir fotoğraf seç
• Sahne yönergelerini kısa tut: bir mekan, bir kıyafet ya da bir atmosfer
• Bir şeyi baştan yazmadan önce ikinci bir model dene

Her Lipsync çalıştırması en fazla 15 saniyelik ses alır. Tam bir seslendirme ya da daha uzun bir şarkı için sesi doğal duraklarda 15 saniye veya daha kısa parçalara böl ve her parçayı aynı fotoğraf ya da kayıtlı karakterle senkronla. Kayıtlı karakter, yüzü bir parçadan diğerine aynı tutar; kesmelerin fark edilmemesini sağlayan da budur.

Parçalar hazır olunca Storyboard'da sıraya diz; en fazla altı kayıtlı klibi sıraya koyar ve sesleriyle birlikte tek bir MP4 olarak dışa aktarır. Sadece bir portreyle mi başlıyorsun? Yapay zeka konuşan fotoğraf rehberi ses metnini yazmayı ve yüzü canlandırmayı da anlatıyor.

Dudak senkronu, kısa bir klibi dublajlamanın pratik bir yoludur. Cümleyi yeni dilde kaydet ya da üret, anlatımı orijinal tempoya yakın tut ve kullanma iznin olan bir konuşmacının sabit görüntüsüyle çalıştır. Ağız yeni sesten canlandırıldığı için dudaklar orijinal kelimeleri değil, çevrilmiş kelimeleri takip eder.

Düzenli bir anlatıcı ya da bir seri boyunca konuşan bir karakter için yüzü bir kez yapay zeka karakter oluşturucu ile oluştur, ardından konuşma planlarının arasına yapay zeka ile görselden video ile hareketli planlar ekle. Şarkı söyleyen ve kamera hareketleri olan bir performans için yapay zeka müzik videosu oluşturucu tam da bunun için tasarlandı.