Khớp môi bằng AI

Khớp môi bằng AI biến một ảnh tĩnh và một đoạn âm thanh thành video nhân vật nói hoặc hát theo đoạn âm thanh đó. Mô hình lắng nghe âm thanh, xác định khẩu hình cần có cho từng âm tiết rồi tạo chuyển động khuôn mặt tương ứng, cùng những cử động đầu và biểu cảm nhỏ khiến lời nói trông chân thực thay vì chỉ là cái miệng máy móc đóng mở trên một tấm ảnh.

Ứng dụng Lipsync của Mage làm được điều này chỉ từ một bức ảnh. Tải ảnh lên hoặc chọn một nhân vật đã lưu, thêm một câu thoại, bài hát hoặc lời dẫn dài đến 15 giây, rồi chọn mô hình video. Nhân vật giữ nguyên vẻ ngoài, khung hình, ánh sáng và bối cảnh trong ảnh của bạn, còn máy quay đứng yên trên họ. Bạn có thể thêm chỉ dẫn cảnh ngắn, chẳng hạn như nền mới hoặc một tâm trạng, và Mage sẽ áp dụng sau chỉ dẫn khớp môi của riêng nó.

Công cụ này dành cho người sáng tạo đã có sẵn âm thanh: lời thuyết minh cho clip sản phẩm, câu thoại lồng tiếng sang ngôn ngữ khác, một đoạn trích podcast, một đoạn bài hát. Nếu bạn vẫn cần tạo giọng nói, hãy làm trước bằng Seed Audio rồi đưa sang. Nếu nhân vật chỉ cần nói, Lipsync là công cụ phù hợp. Nếu họ cần biểu diễn, với chuyển động máy quay và nhảy múa, ứng dụng Music Video sẽ hợp hơn.

Âm thanh quyết định phần lớn kết quả. Một bản ghi khô, chỉ có một giọng, không nhạc nền và không vang phòng sẽ cho model những âm tiết rõ ràng để bám theo. Nhạc nền và tiếng nói chồng lên nhau làm mờ các phụ âm vốn tạo nên khẩu hình, vì vậy hãy cắt clip đúng câu bạn cần và bỏ đoạn im lặng ở đầu, vì khuôn mặt sẽ đứng chờ khi chưa có lời nào.

Hình ảnh quyết định phần còn lại. Khuôn mặt chiếm một phần đáng kể của khung hình, nhìn gần như thẳng vào máy và không bị che miệng sẽ giúp model có chỗ để làm việc. Tay che miệng, mặt nghiêng hẳn và khuôn mặt quá nhỏ trong cảnh rộng là những lý do thường gặp khiến clip trông gượng. Nếu bạn bắt đầu từ một bức chân dung do AI tạo, hãy tạo với miệng khép hoặc thả lỏng để những khung hình đầu không bắt đầu giữa chừng một từ.

• Cắt âm thanh đúng câu cần dùng, tối đa 15 giây
• Dùng một giọng rõ ràng, không có nhạc nền
• Chọn ảnh nhìn thẳng và thấy rõ miệng
• Giữ chỉ đạo cảnh ngắn gọn: một địa điểm, một bộ trang phục hoặc một tâm trạng
• Thử model thứ hai trước khi viết lại bất cứ thứ gì

Mỗi lần chạy Lipsync nhận tối đa 15 giây âm thanh. Với một bài lồng tiếng đầy đủ hoặc một bài hát dài hơn, hãy chia âm thanh tại các quãng nghỉ tự nhiên thành các đoạn từ 15 giây trở xuống và đồng bộ từng đoạn với cùng một bức ảnh hoặc nhân vật đã lưu. Nhân vật đã lưu giữ khuôn mặt giống hệt nhau từ đoạn này sang đoạn khác, nhờ vậy các điểm cắt gần như không thấy được.

Khi các đoạn đã sẵn sàng, hãy sắp xếp chúng trong Storyboard, nơi xếp tối đa sáu clip đã lưu theo thứ tự và xuất chúng cùng âm thanh thành một file MP4. Bạn mới chỉ có một bức chân dung trống? Phần hướng dẫn ảnh biết nói bằng AI bao gồm cả cách viết lời thoại lẫn làm khuôn mặt cử động.

Lip sync là một cách thiết thực để lồng tiếng cho một clip ngắn. Hãy ghi âm hoặc tạo câu thoại bằng ngôn ngữ mới, giữ nhịp đọc gần với bản gốc, rồi chạy với một bức ảnh tĩnh của người nói mà bạn được phép sử dụng. Vì khẩu hình được tạo chuyển động từ âm thanh mới, đôi môi sẽ theo những từ đã dịch thay vì từ gốc.

Với người dẫn chuyện xuất hiện lặp lại hoặc nhân vật nói xuyên suốt một series, hãy tạo khuôn mặt một lần bằng trình tạo nhân vật AI, rồi thêm các cảnh chuyển động xen giữa các cảnh nói bằng AI chuyển ảnh thành video. Với màn trình diễn hát có chuyển động máy quay, trình tạo video nhạc AI được tạo ra chính cho việc đó.