Yapay Zeka Ses Klonlama

Ses klonlama, belirli bir sesin tınısıyla yeni konuşmalar üretir: perdesi, dokusu, aksanı ve kelimeleri şekillendirme biçimi dahil. Eski sistemler genellikle uzun stüdyo kayıtlarına ve bir eğitim sürecine ihtiyaç duyardı. Günümüzün birçok modeli ise kısa bir referans klibiyle çalışır: sesi birkaç saniye dinler ve yeni metni ona uyan bir sesle okur.

Mage'de klonlanmış bir ses, ses referansı olarak başlar. Bir MP3 veya WAV yüklersin, bir üretim ya da kayıtlı bir ses seçersin veya bir ses ya da sosyal medya bağlantısı yapıştırırsın, klibin nereden başlayacağını belirlersin ve Mage en fazla 15 saniyeyi bir @handle altında saklar. Bu handle'ı bir Seed Audio isteminde anarsan, metnini o sesle, belirlediğin uzunlukta tam olarak bir MP3 olarak okur. Eğitim adımı yoktur: klip, her kullandığında yeniden okunur.

Aynı ses videoya da taşınır. Bir klibi karakterin sesi olarak kaydedersen Cherry, Raspberry, Plum, Lemon ve MiniMax-H3 o karakter konuştuğunda onu kullanır; Cherry, Plum, Lemon, MiniMax-H3 ve Blueberry ayrıca video isteminde ses referanslarını da kabul eder. Yalnızca kendi sesini ya da kullanmak için açık iznin olduğu bir sesi klonla.

Model duyduğunu kopyalar, odayı da. Yankılı bir mutfakta kaydedilen kayıt, mutfak gibi ses çıkararak geri döner. Yumuşak eşyaların olduğu küçük bir odada, mikrofondan bir ya da iki karış uzakta, arkada müzik, televizyon veya başka sesler olmadan kayıt yap. Sessiz bir gardıroptaki telefon ses kaydı, boş bir odadaki iyi bir mikrofondan çoğu zaman daha iyi sonuç verir.

Sesin daha sonra nasıl duyulmasını istiyorsan öyle konuş. Sakin ve dengeli bir okuma sakin bir anlatıma dönüşür; canlı bir okuma enerjiye dönüşür. Model farklı sesleri duyabilsin diye birkaç farklı cümleden oluşan, kesintisiz on ila on beş saniyelik bir konuşma kullan; uzun duraksamalardan, öksürükten ve kahkahadan kaçın.

En iyi kaydın daha uzun bir kaydın içindeyse tüm dosyayı yükle ve başlangıç zamanını en iyi 15 saniyeye ayarla. Karakter sesi 10 saniye tutar; bu yüzden bir karakter için ona en çok benzeyen 10 saniyeyi seç.

• Tek konuşmacı, sessiz oda, müzik yok.
• On ila on beş saniyelik kesintisiz konuşma.
• Geri duymak istediğin tonda oku.
• En iyi bölümü seçmek için başlangıç zamanını kullan.
• Ses seviyesini sabit tut: patlama yok, fısıldama yok.

Seed Audio'da sesi @handle ile etiketle, söylenecek sözleri tırnak içine al ve anlatımı ile ortamı tarif et: "@ana-voice, sıcak ve acelesiz, sessiz bir odada mikrofona yakın, şunu söylüyor: …". Handle sesin tınısını getirir; açıklama performansı şekillendirir.

Yazmadan önce süreyi seç. Seed Audio tam olarak seçtiğin süreyi (5, 10, 30, 60 veya 120 saniye) döndürür, gerekirse doldurur ya da keser; bu yüzden sözleri süreye göre ayarla. İnsanlar doğal tempoda saniyede iki üç kelime konuşur; bu da 10 saniyelik bir cümleyi 20 ila 30 kelimeye denk getirir. Okuma biraz ayar istiyorsa konuşma hızı, ses yüksekliği ve perde ayrı ayarlardır.

Seed Audio'nun bir çalıştırması en fazla üç ses referansı ya da bir görsel referansı alır, ikisini birden almaz. Bir sahneyi görselden yola çıkarak seslendirmek için sesi eklemeden çalıştır, sesi ayrı bir klipte ekle.

• Cümleden önce @handle'ı etiketle.
• Söylenecek sözleri tırnak içine al.
• Anlatımı ve odayı tarif et.
• Önce süreyi seç, sonra sözleri ona göre ayarla.

En basit yol karakter sesidir. Bir karakter oluştururken veya düzenlerken Character Voice'u aç ve bir MP3 ya da WAV yükle (başlangıç zamanından itibaren ilk 10 saniye tutulur) veya karakterin görselinden, isteğe bağlı bir açıklamayla bir ses oluştur; fiyatı düğmede Gem olarak görünür. Bundan sonra Character Voices'u kapatmadığın sürece Cherry, Raspberry, Plum, Lemon ve MiniMax-H3 o karakter konuştuğunda bu sesi kullanır. Yapay zeka karakter oluşturucu rehberinde karakterleri kaydetmeyi bulabilirsin.

Bir ses referansını doğrudan video prompt'unda da etiketleyebilirsin. Cherry, Plum ve MiniMax-H3 en fazla üç, Lemon en fazla beş, Blueberry ise bir referans alır; karakter sesleri de aynı sınıra dahildir. Cherry, ses eklediğinde prompt'ta karakter ya da referans gibi en az bir görsel ister.

Tam olarak söylenmesi gereken bir cümle için onu Seed Audio ile klonlanmış sesle oluştur, sonra Lipsync'i bir portre ya da kayıtlı bir karakter ve bu sesin en fazla 15 saniyesiyle aç. Yapay zeka konuşan fotoğraf rehberi tüm akışı gösterir.

Yalnızca kendi sesini ya da kullanmak için açık iznin olan bir sesi klonla. Gerçek bir kişiyi onun izni olmadan taklit etmek Mage'de yasaktır; topluluk kuralları arkadaşların, ünlülerin, tanınmış kişilerin veya markaların zararlı amaçlarla taklit edilmesini ve yaşadığın yerde yasa dışı olan her türlü içeriği yasaklar. Biri kendisini içeren bir üretimi kaldırmanı isterse kaldır.

İzni yazılı al ve ayrıntılı olsun: kimin sesi, ne söyleyecek, nerede yayınlanacak, kullanım ticari mi ve ne kadar süreyle. Bir seslendirme sanatçısının sözleşmesi sentetik ses kullanımından açıkça söz etmelidir; genel bir kayıt izni çoğu zaman bunu kapsamaz.

Hukuk da aynı yönde. ABD'de FCC, Şubat 2024'te yapay zeka ile üretilen seslerin robocall yasası kapsamında "yapay" sayıldığına karar verdi; yani izinsiz bir robocall'da kullanmak yasa dışı. Temmuz 2024'ten beri yürürlükte olan Tennessee'nin ELVIS Yasası da izinsiz olarak yapay zeka ile bir kişinin sesini taklit etmeyi yasaklıyor. Bu sayfa hukuki tavsiye değildir; yayınladığın yerdeki kuralları kontrol et.

Video modeli sağlayıcıları sesi de tarar. Bir klip telifli müzik ya da gerçek bir kişinin sesini içeriyorsa çalıştırma reddedilebilir; reddedilen çalıştırmanın ücreti iade edilir.

• Kendi sesin: devam et.
• Başkasının sesi: önce yazılı izin.
• Tanınmış kişiler ve ünlüler: lisans olmadan olmaz.
• Asla aldatmak için değil: sahte arama, onay ya da açıklama yok.
• Bir platform istiyorsa gerçekçi sentetik konuşmayı etiketle.

Konuşmacının belirli biri olması gerekiyorsa sesi klonla: sen, buna onay veren bir seslendirme sanatçısı ya da daha önce seslendirdiğin bir karakter. Herhangi bir iyi ses işini görecekse hazır sesler daha hızlıdır: Yapay zeka ile metinden sese 16 ElevenLabs sesinden biriyle tek seferde 5.000 karaktere kadar okur; yapay zeka ses oluşturucu ise ses etiketleriyle okumayı yönlendirmeyi ve prompt ile yeni bir ses tarif etmeyi anlatır.

Eleven Speech, Mage'de ses klonlamaz: yalnızca hazır seslerle konuşur. Klonlama Seed Audio'da ve ses referanslarını ile karakter seslerini okuyan video modellerinde çalışır. Geliştiriciler bunların hepsini ses oluşturma API'si üzerinden yapabilir.