Dịch video bằng AI

Công cụ dịch video bằng AI nhận một video bằng ngôn ngữ này và chuyển sang ngôn ngữ khác: lời thoại được dịch, có một track giọng nói mới bằng ngôn ngữ đích, và lý tưởng nhất là người nói có khẩu hình khớp với lời mới. Các dịch vụ lồng tiếng trọn gói làm tất cả chỉ từ một lần tải lên. Mage xử lý giọng nói và khẩu hình bằng các công cụ riêng mà bạn tự kiểm soát, phù hợp với clip ngắn như quảng cáo, đoạn giới thiệu và video nhân vật hơn là các bản ghi dài hàng giờ.

Phân chia công việc như sau. Mage không tự chép lời hay dịch video của bạn, và cũng không thêm phụ đề. Bạn, một biên dịch viên hoặc trợ lý AI của bạn sẽ viết kịch bản bằng ngôn ngữ mới. Sau đó Eleven Speech đọc kịch bản bằng hơn 90 ngôn ngữ, còn Lipsync làm động một ảnh tĩnh của người nói, một khung hình rõ nét từ video của bạn hoặc một nhân vật đã lưu, để khẩu hình khớp với âm thanh mới, tối đa 15 giây mỗi clip.

Kết quả là một clip nói chuyện mới được tạo từ khung hình đó, không phải cảnh quay gốc với phần miệng được thay thế, nên cử chỉ của người nói và các chuyển động máy quay trong bản gốc sẽ không được giữ lại. Với phần thuyết minh không có người nói xuất hiện trên hình, bạn không cần khớp khẩu hình: chỉ cần đặt giọng mới lên hình gốc trong trình chỉnh sửa. Với chữ trong ảnh quảng cáo, skill Ad Localizer sẽ thay chữ ngay tại chỗ.

Tự động trên Mage: Eleven Speech biến kịch bản viết thành giọng nói bằng ngôn ngữ bạn viết, với nhịp điệu và cảm xúc bạn có thể điều chỉnh bằng các thẻ như [whispers] hoặc [laughs]. Lipsync biến một ảnh và tối đa 15 giây âm thanh thành video nhân vật nói theo, với biểu cảm tự nhiên và chuyển động đầu nhẹ nhàng. Skill Ad Localizer, trong trợ lý của bạn, chép chữ trong quảng cáo tĩnh, nhờ trợ lý dịch, rồi thay từng dòng bằng đúng phông chữ, cỡ chữ và vị trí sau khi bạn duyệt nội dung.

Không tự động: chép lời thoại gốc, dịch hội thoại, khớp thời lượng câu mới với bản gốc, giữ nguyên giọng của người nói gốc, tách nhạc nền khỏi giọng nói, và phụ đề. Mage không có công cụ chuyển giọng nói thành văn bản, lồng tiếng tự động hay tạo phụ đề. Lipsync cũng tạo clip mới từ một ảnh tĩnh, nên không giữ lại chuyển động, các đoạn cắt hay những người khác trong khung hình của cảnh quay gốc.

• Tự động: giọng nói từ kịch bản của bạn, bằng hơn 90 ngôn ngữ.
• Tự động: khẩu hình khớp với âm thanh mới, từ một ảnh.
• Tự động: chữ quảng cáo trên ảnh được thay sau khi bạn duyệt.
• Việc của bạn: bản chép lời, bản dịch và bước kiểm tra cuối.
• Không có: phụ đề, hoặc khẩu hình mới trên cảnh quay gốc.

Kịch bản lồng tiếng không phải file phụ đề. Nó phải đọc xong trong khoảng thời gian tương đương bản gốc, nên hãy dịch sao cho vừa đúng ý vừa đúng độ dài. Tiếng Đức và tiếng Pháp thường dài hơn tiếng Anh, còn tiếng Nhật và tiếng Trung thường ngắn hơn; hãy rút gọn câu thay vì tăng tốc giọng đọc. Giữ nguyên tên thương hiệu và sản phẩm, đồng thời đọc số, ngày tháng và giá tiền theo cách người bản xứ vẫn nói.

Nếu bạn làm việc trong Claude, ChatGPT hoặc một trợ lý khác đã kết nối Mage, trợ lý có thể soạn bản dịch và cho bạn xem từng dòng trước khi tạo giọng. Bản dịch đó là do trợ lý làm, không phải tính năng của Mage, nên hãy nhờ người bản ngữ đọc lại nếu dùng cho khách hàng. Sau đó, hãy chia kịch bản ở những chỗ ngắt tự nhiên thành các đoạn dài tối đa 15 giây, bằng độ dài của một clip Lipsync.

Dùng Eleven Speech cho hầu hết các bản dịch. Chọn một trong 16 giọng phù hợp với độ tuổi và nguồn năng lượng của người nói, viết kịch bản bằng ngôn ngữ đích, rồi chỉnh cách đọc bằng các thẻ âm thanh đặt trong ngoặc vuông. File MP3 dài đúng bằng kịch bản, tối đa 5.000 ký tự mỗi yêu cầu, nên không có đoạn im lặng nào cần cắt. Hướng dẫn chuyển văn bản thành giọng nói AI giải thích chi tiết về các giọng và thẻ.

Eleven Speech chỉ nói bằng các giọng có sẵn. Khi bản âm thanh mới cần giống giọng của người nói gốc, Seed Audio có thể định hướng giọng nói từ tối đa ba mẫu âm thanh tham chiếu, và chỉ dùng bản ghi giọng nói mà bạn được phép sử dụng. Công cụ tạo âm thanh có độ dài cố định 5, 10, 30, 60 hoặc 120 giây, nên hãy kiểm tra thời lượng và ngôn ngữ trên một câu ngắn trước khi chạy cả kịch bản. Hướng dẫn nhân bản giọng nói AI nói chi tiết hơn về cách khớp một giọng nói.

Nhân bản giọng của chính bạn để lồng tiếng là chuyện bình thường: chẳng hạn YouTube xếp việc này vào các cách dùng AI không cần khai báo nội dung đã chỉnh sửa. Nhân bản giọng của người khác thì khác, và Mage không cho phép bắt chước một người có thật khi chưa được họ đồng ý.

Khi một người nói trực tiếp với camera, hãy lấy từ video khung hình chính diện rõ nhất của họ, nhìn thấy miệng và miệng đang khép hoặc thả lỏng, rồi dùng làm chủ thể trong Lipsync. Thêm âm thanh đã dịch, dài tối đa 15 giây, và chọn một model: Plum là mặc định, còn Blueberry 2 làm động đúng bức ảnh bạn đưa vào, giữ nguyên diện mạo của khung hình gốc. Mỗi clip là một màn trình diễn mới từ ảnh tĩnh đó, với camera giữ cố định vào người nói.

Với người nói xuất hiện xuyên suốt một loạt video, hãy lưu họ thành một nhân vật để khuôn mặt giống hệt nhau ở mọi ngôn ngữ. Sau đó sắp xếp các clip trong Storyboard, nơi ghép tối đa sáu clip thành một file MP4 kèm âm thanh. Hướng dẫn ảnh nói chuyện AI giúp bạn chọn khung hình dễ làm động.

Khi không ai nói trước camera, như video giải thích có lời dẫn, demo sản phẩm hay video quay màn hình, bạn có thể bỏ qua bước khớp khẩu hình. Hãy tạo lời dẫn mới rồi thay track âm thanh trong phần mềm dựng video. Mage không tự trộn giọng mới vào video có sẵn cho bạn.

• Chọn khung hình chính diện, nhìn thấy miệng.
• Mỗi đoạn âm thanh dài tối đa 15 giây.
• Lưu người nói xuất hiện nhiều lần thành nhân vật.
• Thay âm thanh trong phần mềm dựng khi không có ai trước camera.

Quảng cáo tĩnh truyền tải thông điệp bằng chữ: tiêu đề, nút bấm, ưu đãi. Skill Ad Localizer xử lý những phần này ngay trong trợ lý của bạn. Skill sẽ chép lại từng dòng, dịch theo ý nghĩa và giọng điệu, điều chỉnh ngắt dòng, định dạng số và bố cục chữ viết từ phải sang trái, rồi cho bạn xem nội dung để duyệt. Sau đó skill thay từng dòng trong ảnh bằng GPT Image 2.5 Flare, giữ nguyên kiểu chữ, bố cục, sản phẩm và logo, đồng thời để nguyên tên thương hiệu và chữ trên bao bì. Skill không dịch lời thuyết minh trong video. Bạn có thể tìm trên trang Kỹ năng Mage, và xem thêm trình tạo quảng cáo AI để biết phần còn lại của quy trình làm quảng cáo.