Yapay Zeka Video Çevirici

Yapay zeka video çevirmeni, bir dildeki videoyu alıp başka bir dile dönüştürür: sözler çevrilir, hedef dilde yeni bir ses kaydı oluşturulur ve ideal olarak konuşmacının ağzı yeni sözcüklerle uyumlu hale gelir. Tam kapsamlı dublaj hizmetleri bunların hepsini tek bir yüklemeyle yapar. Mage ise sesi ve dudakları senin kontrol ettiğin ayrı araçlarla hazırlar; bu yöntem saatlik kayıtlardan çok reklam, tanıtım ve karakter videosu gibi kısa klipler için daha uygundur.

İş bölümü şöyle: Mage videonu kendi başına yazıya dökmez, çevirmez ve altyazı eklemez. Yeni dildeki metni sen, bir çevirmen ya da yapay zeka asistanın yazarsın. Ardından Eleven Speech bu metni 90'dan fazla dilde okur; Lipsync ise konuşmacının bir karesini (videondan net bir kare ya da kayıtlı bir karakter) canlandırır ve dudakları yeni sese uyar. Klip başına en fazla 15 saniye desteklenir.

Ortaya çıkan, o kareden üretilmiş yeni bir konuşma klibidir; orijinal görüntünün ağzı değiştirilmiş hali değildir. Bu yüzden orijinaldeki konuşmacının jestleri ve kamera hareketleri korunmaz. Ekranda konuşmacı olmayan anlatımlarda dudak senkronuna hiç gerek yoktur: yeni sesi düzenleyicinde orijinal görüntünün üzerine yerleştirmen yeterli. Reklam görsellerindeki metinler için Ad Localizer becerisi bunları yerinde değiştirir.

Mage'de otomatik olanlar: Eleven Speech yazılı bir metni, yazdığın dilde sese dönüştürür; tempoyu ve duyguyu [whispers] veya [laughs] gibi etiketlerle yönlendirebilirsin. Lipsync, tek bir görselden ve en fazla 15 saniyelik sesten, konuyu o sesi söylerken gösteren; doğal ifadeler ve hafif baş hareketleri içeren bir video üretir. Asistanındaki Ad Localizer becerisi, statik bir reklamdaki metni yazıya döker, asistanına çevirtir ve sen metni onayladıktan sonra her satırı kendi yazı tipi, boyutu ve konumuyla değiştirir.

Otomatik olmayanlar: orijinal konuşmayı yazıya dökmek, konuşulan diyalogları çevirmek, yeni cümlenin süresini orijinaline uydurmak, orijinal konuşmacının kendi sesini korumak, müzik zeminini sesten ayırmak ve altyazı. Mage'de konuşmayı yazıya çevirme, otomatik dublaj ya da altyazı aracı yoktur. Ayrıca Lipsync bir sabit görüntüden yeni bir klip oluşturur; bu yüzden orijinal görüntüdeki hareketi, kesmeleri veya karedeki diğer kişileri korumaz.

• Otomatik: metninden 90'dan fazla dilde ses.
• Otomatik: tek bir görselden, yeni sese eşitlenmiş dudaklar.
• Otomatik: onayından sonra görseldeki reklam metninin değiştirilmesi.
• Sana ait: yazıya dökme, çeviri ve son kontrol.
• Mevcut değil: altyazı veya orijinal görüntüye yeni dudaklar.

Dublaj metni bir altyazı dosyası değildir. Orijinalin sürdüğü süreye yakın bir sürede söylenebilmesi gerekir; bu yüzden anlamı ve uzunluğu birlikte düşünerek çevir. Almanca ve Fransızca çoğunlukla İngilizceden uzun, Japonca ve Çince ise çoğunlukla daha kısa sürer; sesi hızlandırmak yerine cümleyi kısalt. Marka ve ürün adlarını olduğu gibi bırak, sayıları, tarihleri ve fiyatları o dili konuşan birinin söyleyeceği şekilde yaz.

Claude, ChatGPT veya başka bir asistanda şunu kullanıyorsan: Mage bağlı, asistan çeviriyi taslak olarak hazırlayıp seslendirmeden önce sana satır satır gösterebilir. Bu çeviri asistanın işidir, bir Mage özelliği değildir; bu yüzden müşteriye dönük her içerik için anadili olan birine okut. Ardından metni doğal duraklardan, bir Lipsync klibinin uzunluğu olan 15 saniye veya daha kısa parçalara böl.

Çoğu çeviri için Eleven Speech kullan. 16 sesinden konuşmacının yaşına ve enerjisine uyanı seç, metni hedef dilde yaz ve okumayı köşeli parantez içindeki ses etiketleriyle yönlendir. MP3, metin uzunluğu kadar sürer (istek başına en fazla 5.000 karakter), yani kırpılacak sessizlik kalmaz. Yapay zeka ile metinden sese rehberinde sesler ve etiketler ayrıntılı anlatılıyor.

Eleven Speech yalnızca hazır seslerle konuşur. Yeni ses kaydının özgün konuşmacıya benzemesini istiyorsan Seed Audio, kullanma iznin olan ses kayıtlarından en fazla üçünü referans alarak bir sese yön verebilir. 5, 10, 30, 60 veya 120 saniyelik sabit uzunluklarda üretir; bu yüzden tam metne geçmeden önce süreyi ve dili kısa bir cümlede dene. Yapay zeka ile ses klonlama rehberinde bir sesi eşleştirmek daha ayrıntılı anlatılıyor.

Dublaj için kendi sesini klonlamak yaygın bir uygulamadır: örneğin YouTube, bunu değiştirilmiş içerik bildirimi gerektirmeyen yapay zeka kullanımları arasında sayıyor. Başkasının sesini klonlamak ise farklı bir konudur ve Mage, gerçek bir kişiyi onun izni olmadan taklit etmeye izin vermez.

Bir kişi kameraya doğru konuşuyorsa videodan onun en net, önden çekilmiş karesini al; ağzı görünsün, kapalı ya da rahat olsun. Bu kareyi Lipsync içinde özne olarak kullan. Çevrilmiş sesi ekle (en fazla 15 saniye) ve bir model seç: Plum varsayılandır, Blueberry 2 ise verdiğin görseli birebir canlandırır ve özgün karenin görünümünü korur. Her klip, o sabit görüntüden yeni bir performanstır ve kamera konuşmacının üzerinde sabit kalır.

Bir seride yer alan konuşmacı için onu karakter olarak kaydet; böylece yüzü her dilde aynı kalır. Ardından klipleri Storyboard içinde diz; en fazla altı klibi sesleriyle birlikte tek bir MP4 olarak birleştirir. Yapay zeka ile konuşan fotoğraf rehberinde iyi canlanan bir kareyi seçmenin yolları anlatılıyor.

Seslendirmeli bir tanıtım videosu, ürün demosu veya ekran kaydı gibi kamerada kimsenin konuşmadığı durumlarda dudak senkronunu atla. Yeni anlatımı üret ve video editöründe ses kanalını değiştir. Mage yeni bir sesi mevcut bir videoya senin yerine karıştırmaz.

• Ağzı görünen, önden çekilmiş bir kare seç.
• Her ses parçasını 15 saniye veya daha kısa tut.
• Sürekli yer alan bir konuşmacıyı karakter olarak kaydet.
• Kamerada kimse yoksa sesi bir editörde değiştir.

Statik reklamlar mesajını metinle taşır: başlık, düğme, teklif. Ad Localizer skill'i bunları asistanında halleder. Her satırı yazıya döker, anlamı ve tonu koruyarak çevirir, satır sonlarını, sayı biçimlerini ve sağdan sola düzenleri uyarlar, metni onayına sunar. Ardından görseldeki her satırı GPT Image 2.5 Flare ile değiştirir; yazı tipi stilini, yerleşimi, ürünü ve logoyu korur, marka adına ve ambalaj yazılarına dokunmaz. Video seslendirmelerini çevirmez. Bunu Mage skill'leri sayfasında bulabilirsin. Reklam iş akışının geri kalanı için yapay zeka reklam oluşturucu sayfasına göz at.