Nhân bản giọng nói bằng AI

Nhân bản giọng nói tạo ra lời nói mới theo âm thanh của một giọng cụ thể: cao độ, chất giọng, giọng vùng miền và cách giọng đó tạo nên từng từ. Các hệ thống trước đây thường cần các bản thu âm studio dài và một lượt huấn luyện. Nhiều model hiện nay chỉ cần một clip tham chiếu ngắn: chúng nghe vài giây của giọng nói rồi đọc văn bản mới bằng một giọng khớp với nó.

Trên Mage, một giọng nhân bản bắt đầu từ một âm thanh tham chiếu. Bạn tải lên file MP3 hoặc WAV, chọn một sáng tạo hoặc âm thanh đã lưu, hoặc dán liên kết âm thanh hay mạng xã hội, chọn điểm bắt đầu của clip, và Mage giữ lại tối đa 15 giây dưới một @handle. Nhắc đến handle đó trong prompt của Seed Audio, và nó sẽ đọc văn bản của bạn bằng giọng ấy dưới dạng file MP3 có độ dài đúng như bạn đặt. Không có bước huấn luyện: clip được đọc lại mỗi lần bạn dùng.

Cùng một giọng có thể dùng cho cả video. Lưu một clip làm giọng của nhân vật và Cherry, Raspberry, Plum, Lemon cùng MiniMax-H3 sẽ dùng nó mỗi khi nhân vật đó nói; Cherry, Plum, Lemon, MiniMax-H3 và Blueberry cũng nhận âm thanh tham chiếu trong prompt video. Chỉ nhân bản giọng của chính bạn, hoặc giọng bạn được cho phép sử dụng rõ ràng.

Model sao chép đúng những gì nó nghe thấy, kể cả không gian xung quanh. Đoạn ghi trong nhà bếp có tiếng vang thì kết quả nghe cũng như trong nhà bếp. Hãy ghi âm trong một căn phòng nhỏ có nhiều đồ mềm, cách micro khoảng một hai gang tay, không có nhạc, tivi hay giọng người khác ở phía sau. Một đoạn ghi âm bằng điện thoại trong tủ quần áo yên tĩnh thường tốt hơn micro xịn đặt trong phòng trống.

Hãy nói đúng kiểu bạn muốn giọng nói nghe sau này. Giọng đọc bình tĩnh, đều sẽ cho ra giọng dẫn bình tĩnh; giọng đọc sôi nổi sẽ cho ra năng lượng. Dùng mười đến mười lăm giây lời nói liên tục với vài câu khác nhau để model nghe được nhiều âm khác nhau, và tránh quãng nghỉ dài, tiếng ho và tiếng cười.

Nếu đoạn hay nhất nằm trong một bản ghi dài hơn, hãy tải lên cả file và đặt thời điểm bắt đầu vào 15 giây tốt nhất. Giọng nhân vật chỉ giữ 10 giây, nên với nhân vật, hãy chọn 10 giây nghe giống họ nhất.

• Một người nói, phòng yên tĩnh, không có nhạc.
• Mười đến mười lăm giây lời nói liên tục.
• Đọc với tông giọng bạn muốn nhận lại.
• Dùng thời điểm bắt đầu để chọn đoạn hay nhất.
• Giữ âm lượng ổn định: không bị vỡ tiếng, không thì thầm.

Trong Seed Audio, hãy nhắc đến giọng nói bằng @handle, đặt nguyên văn lời thoại trong dấu ngoặc kép, và mô tả cách thể hiện cùng không gian: "@ana-voice, ấm áp và thong thả, sát micro trong một căn phòng yên tĩnh, nói: …". Handle mang lại âm sắc của giọng nói; phần mô tả định hình màn trình diễn.

Hãy chọn độ dài trước khi viết. Seed Audio trả về đúng thời lượng bạn chọn, 5, 10, 30, 60 hoặc 120 giây, bằng cách thêm đệm hoặc cắt bớt cho vừa, nên hãy viết lời cho khớp. Người ta nói khoảng hai đến ba từ mỗi giây với nhịp tự nhiên, nghĩa là một câu 10 giây có khoảng 20 đến 30 từ. Tốc độ nói, âm lượng và cao độ là các thiết lập riêng khi bản đọc cần chỉnh thêm.

Mỗi lần chạy Seed Audio nhận tối đa ba tham chiếu âm thanh hoặc một tham chiếu hình ảnh, không dùng cả hai. Để tạo âm thanh cho một cảnh từ một bức hình, hãy chạy không có giọng nói, rồi thêm giọng nói trong một clip riêng.

• Nhắc đến @handle trước câu thoại.
• Đặt nguyên văn lời thoại trong dấu ngoặc kép.
• Mô tả cách thể hiện và không gian.
• Chọn thời lượng trước, rồi viết lời cho vừa.

Cách đơn giản nhất là dùng giọng nhân vật. Khi tạo hoặc chỉnh sửa một nhân vật, hãy mở Character Voice và tải lên file MP3 hoặc WAV (giữ lại 10 giây đầu tính từ thời điểm bắt đầu của bạn), hoặc tạo giọng từ hình ảnh của nhân vật kèm mô tả tùy chọn, với giá tính bằng Gems hiển thị trên nút. Từ đó, Cherry, Raspberry, Plum, Lemon và MiniMax-H3 sẽ dùng giọng này mỗi khi nhân vật đó nói, trừ khi bạn tắt Character Voices. Hướng dẫn trình tạo nhân vật AI nói về cách lưu nhân vật.

Bạn cũng có thể nhắc trực tiếp đến một tham chiếu âm thanh trong prompt video. Cherry, Plum và MiniMax-H3 nhận tối đa ba, Lemon tối đa năm và Blueberry một, và giọng nhân vật cũng được tính vào cùng giới hạn đó. Cherry cần ít nhất một hình ảnh trong prompt, chẳng hạn một nhân vật hoặc một tham chiếu, khi bạn đính kèm âm thanh.

Với câu thoại cần chính xác tuyệt đối, hãy tạo nó bằng giọng đã sao chép với Seed Audio, rồi mở Lipsync với một ảnh chân dung hoặc một nhân vật đã lưu và tối đa 15 giây âm thanh đó. Hướng dẫn ảnh nói chuyện AI trình bày toàn bộ quy trình.

Chỉ sao chép giọng của chính bạn hoặc giọng bạn có sự cho phép rõ ràng để sử dụng. Mage không cho phép bắt chước người thật khi chưa có sự đồng ý của họ, và nguyên tắc cộng đồng cấm mạo danh bạn bè, người nổi tiếng, nhân vật của công chúng hoặc thương hiệu vì mục đích gây hại, cũng như mọi nội dung bất hợp pháp tại nơi bạn sống. Nếu ai đó yêu cầu bạn gỡ một sản phẩm có hình ảnh hoặc giọng nói của họ, hãy gỡ nó.

Hãy xin phép bằng văn bản và nêu cụ thể: giọng của ai, sẽ nói gì, xuất hiện ở đâu, có dùng cho mục đích thương mại không và trong bao lâu. Thỏa thuận với diễn viên lồng tiếng nên nêu rõ việc dùng giọng tổng hợp; giấy cho phép ghi âm thông thường thường không bao gồm điều này.

Luật pháp cũng theo hướng đó. Tại Mỹ, vào tháng 2 năm 2024, FCC đã phán quyết rằng giọng nói do AI tạo ra được coi là "nhân tạo" theo luật về robocall, nên dùng chúng trong robocall mà không có sự đồng ý là bất hợp pháp, và đạo luật ELVIS của Tennessee, có hiệu lực từ tháng 7 năm 2024, cấm dùng AI để bắt chước giọng của một người khi chưa được phép. Trang này không phải là tư vấn pháp lý; hãy kiểm tra quy định tại nơi bạn đăng tải.

Các nhà cung cấp model video cũng kiểm duyệt âm thanh. Một lần chạy có thể bị từ chối vì clip chứa nhạc có bản quyền hoặc giọng của người thật, và lần chạy bị từ chối sẽ được hoàn tiền.

• Giọng của chính bạn: cứ làm.
• Giọng của người khác: cần có sự cho phép bằng văn bản trước.
• Nhân vật của công chúng và người nổi tiếng: không được nếu không có giấy phép.
• Không bao giờ dùng để lừa dối: không cuộc gọi, lời quảng cáo hay phát ngôn giả.
• Gắn nhãn giọng nói tổng hợp chân thực khi nền tảng yêu cầu.

Hãy sao chép giọng khi người nói phải là một ai đó cụ thể: bạn, một diễn viên lồng tiếng đã đồng ý, hoặc một nhân vật bạn đã tạo giọng. Khi giọng nào tốt cũng được, giọng có sẵn sẽ nhanh hơn: chuyển văn bản thành giọng nói bằng AI đọc tối đa 5.000 ký tự với một trong 16 giọng ElevenLabs, còn trình tạo giọng nói AI hướng dẫn cách điều khiển bản đọc bằng thẻ âm thanh và mô tả một giọng mới trong prompt.

Eleven Speech không sao chép giọng nói trên Mage: nó chỉ nói bằng các giọng có sẵn. Việc sao chép chạy trên Seed Audio và các model video đọc tham chiếu âm thanh và giọng nhân vật. Nhà phát triển có thể làm tất cả qua API tạo âm thanh.