Penerjemah Video AI

Penerjemah video AI mengambil video dalam satu bahasa dan mengubahnya ke bahasa lain: kata-katanya diterjemahkan, ada trek suara baru dalam bahasa tujuan, dan idealnya pembicara yang gerak mulutnya cocok dengan kata-kata baru. Layanan dubbing lengkap melakukan semuanya dari satu unggahan. Mage menangani suara dan bibir dengan alat terpisah yang bisa kamu kendalikan, sehingga lebih cocok untuk klip pendek seperti iklan, intro, dan video karakter daripada rekaman berjam-jam.

Pembagiannya begini. Mage tidak mentranskripsikan videomu atau menerjemahkannya sendiri, dan tidak menambahkan subtitel. Kamu, penerjemah, atau asisten AI-mu yang menulis skrip dalam bahasa baru. Eleven Speech lalu membacakannya dalam lebih dari 90 bahasa, dan Lipsync menganimasikan gambar diam pembicara, baik frame yang jelas dari videomu maupun karakter tersimpan, sehingga bibirnya mengikuti audio baru, hingga 15 detik per klip.

Hasilnya adalah klip bicara baru yang dibuat dari frame tersebut, bukan rekaman aslimu dengan mulut yang diganti, jadi gestur pembicara dan gerakan kamera dari video asli tidak ikut terbawa. Untuk narasi tanpa pembicara yang terlihat, kamu tidak perlu lip sync sama sekali: cukup letakkan suara baru di atas gambar asli di editormu. Untuk teks di dalam gambar iklan, skill Ad Localizer menggantinya langsung di tempatnya.

Otomatis di Mage: Eleven Speech mengubah skrip tertulis menjadi suara dalam bahasa yang kamu tulis, dengan tempo dan emosi yang bisa kamu arahkan lewat tag seperti [whispers] atau [laughs]. Lipsync mengubah satu gambar dan audio hingga 15 detik menjadi video subjek yang mengucapkannya, dengan ekspresi alami dan gerakan kepala yang halus. Skill Ad Localizer, di asistenmu, mentranskripsikan teks di iklan statis, meminta asistenmu menerjemahkannya, lalu mengganti tiap baris dengan font, ukuran, dan posisi yang sama setelah kamu menyetujui teksnya.

Tidak otomatis: mentranskripsikan ucapan asli, menerjemahkan dialog lisan, menyesuaikan durasi kalimat baru dengan aslinya, mempertahankan suara asli pembicara, memisahkan musik latar dari suara, dan subtitel. Mage tidak punya speech-to-text, dubbing otomatis, maupun alat teks takarir. Lipsync juga membuat klip baru dari gambar diam, jadi gerakan, potongan adegan, atau orang lain dalam footage asli tidak ikut terbawa.

• Otomatis: suara dari skripmu, dalam lebih dari 90 bahasa.
• Otomatis: bibir tersinkron dengan audio baru, dari satu gambar.
• Otomatis: teks iklan pada gambar diganti setelah kamu menyetujuinya.
• Tugasmu: transkrip, terjemahan, dan peninjauan akhir.
• Tidak tersedia: subtitel, atau bibir baru pada footage asli.

Skrip dubbing bukan file subtitel. Skrip ini harus bisa diucapkan dalam waktu yang kurang lebih sama dengan aslinya, jadi terjemahkan dengan memperhatikan makna dan panjang sekaligus. Bahasa Jerman dan Prancis sering lebih panjang daripada bahasa Inggris, sedangkan bahasa Jepang dan Tionghoa sering lebih pendek; persingkat kalimatnya, jangan percepat suaranya. Biarkan nama merek dan produk apa adanya, dan ucapkan angka, tanggal, dan harga seperti penutur lokal mengucapkannya.

Jika kamu bekerja di Claude, ChatGPT, atau asisten lain dengan Mage terhubung, asisten bisa menyusun draf terjemahan dan menampilkannya baris demi baris sebelum suara dibuat. Terjemahan itu hasil kerja asisten, bukan fitur Mage, jadi minta penutur asli membacanya jika akan dipakai untuk pelanggan. Lalu pecah naskah di jeda alami menjadi bagian berdurasi 15 detik atau kurang, sepanjang satu klip Lipsync.

Gunakan Eleven Speech untuk sebagian besar terjemahan. Pilih salah satu dari 16 suaranya yang cocok dengan usia dan energi pembicara, tulis naskah dalam bahasa tujuan, lalu arahkan cara membacanya dengan tag audio di dalam tanda kurung siku. Panjang MP3 persis sama dengan naskah, hingga 5.000 karakter per permintaan, jadi tidak ada bagian hening yang perlu dipotong. Panduan text to speech AI membahas suara dan tag secara lebih dalam.

Eleven Speech hanya berbicara dengan suara bawaannya. Kalau trek baru harus terdengar seperti pembicara aslinya, Seed Audio bisa memandu suara dari hingga tiga referensi audio, dan hanya gunakan rekaman suara yang memang boleh kamu pakai. Durasinya tetap: 5, 10, 30, 60, atau 120 detik, jadi cek waktu dan bahasanya pada satu kalimat pendek sebelum memproses naskah penuh. Panduan kloning suara AI membahas cara menyamakan suara dengan lebih rinci.

Mengkloning suara sendiri untuk dubbing adalah hal yang lazim: YouTube, misalnya, memasukkannya ke dalam penggunaan AI yang tidak perlu pengungkapan konten yang dimodifikasi. Mengkloning suara orang lain itu lain soal, dan Mage tidak mengizinkan peniruan orang sungguhan tanpa persetujuan mereka.

Saat seseorang berbicara ke kamera, ambil frame dari video yang menampilkan wajahnya paling jelas dari depan, dengan mulut terlihat dan tertutup atau rileks, lalu pakai sebagai subjek di Lipsync. Tambahkan audio terjemahan, maksimal 15 detik, lalu pilih model: Plum adalah default, dan Blueberry 2 menganimasikan gambar persis seperti yang kamu berikan, sehingga tampilan frame aslinya tetap terjaga. Setiap klip adalah penampilan baru dari gambar diam itu, dengan kamera tetap stabil pada pembicara.

Untuk pembicara yang muncul di berbagai seri, simpan sebagai karakter agar wajahnya tetap identik di setiap bahasa. Lalu susun klipnya di Storyboard, yang menggabungkan hingga enam klip menjadi satu MP4 lengkap dengan suaranya. Panduan foto bicara AI membahas cara memilih frame yang teranimasi dengan baik.

Kalau tidak ada yang berbicara di depan kamera, seperti pada video penjelasan dengan narasi, demo produk, atau rekaman layar, lewati lip sync. Buat narasi baru, lalu ganti trek audio di editor videomu. Mage tidak menyisipkan suara baru ke video yang sudah ada untukmu.

• Pilih frame dari depan dengan mulut terlihat.
• Batasi setiap potongan audio maksimal 15 detik.
• Simpan pembicara yang sering muncul sebagai karakter.
• Ganti audio di editor jika tidak ada orang di depan kamera.

Iklan statis menyampaikan pesannya lewat teks: judul, tombol, penawaran. Skill Ad Localizer menanganinya di asistenmu. Skill ini mentranskripsikan setiap baris, menerjemahkan sesuai makna dan nada, menyesuaikan pemenggalan baris, format angka, dan tata letak kanan-ke-kiri, lalu menampilkan teksnya untuk kamu setujui. Setelah itu, ia mengganti setiap baris di gambar dengan GPT Image 2.5 Flare, dengan tetap mempertahankan gaya font, tata letak, produk, dan logo, serta membiarkan nama merek dan teks kemasan apa adanya. Skill ini tidak menerjemahkan narasi suara pada video. Temukan di halaman skill Mage, dan lihat pembuat iklan AI untuk alur kerja iklan selengkapnya.