โคลนเสียง ด้วย AI

การโคลนเสียงคือการสร้างเสียงพูดใหม่ที่ฟังเหมือนเสียงของคนคนหนึ่ง ทั้งระดับเสียง เนื้อเสียง สำเนียง และวิธีออกเสียงคำ ระบบรุ่นก่อนๆ มักต้องใช้การบันทึกเสียงในสตูดิโอยาวๆ และต้องผ่านการเทรน แต่โมเดลปัจจุบันจำนวนมากใช้เพียงคลิปอ้างอิงสั้นๆ โดยฟังเสียงไม่กี่วินาทีแล้วพูดข้อความใหม่ด้วยเสียงที่ตรงกัน

ใน Mage เสียงที่โคลนเริ่มจากไฟล์เสียงอ้างอิง คุณอัปโหลด MP3 หรือ WAV เลือกผลงานที่สร้างไว้หรือเสียงที่บันทึกไว้ หรือวางลิงก์เสียงหรือลิงก์โซเชียล เลือกจุดเริ่มต้นของคลิป แล้ว Mage จะเก็บไว้สูงสุด 15 วินาทีภายใต้ @handle เมื่อเรียกใช้ handle นั้นในพรอมต์ของ Seed Audio ระบบจะพูดข้อความของคุณด้วยเสียงนั้นเป็นไฟล์ MP3 ที่ยาวตามที่คุณกำหนดเป๊ะๆ ไม่มีขั้นตอนเทรน เพราะระบบจะอ่านคลิปใหม่ทุกครั้งที่คุณใช้งาน

เสียงเดียวกันนี้ใช้ในวิดีโอได้ด้วย บันทึกคลิปเป็นเสียงของตัวละคร แล้ว Cherry, Raspberry, Plum, Lemon และ MiniMax-H3 จะใช้เสียงนั้นทุกครั้งที่ตัวละครพูด นอกจากนี้ Cherry, Plum, Lemon, MiniMax-H3 และ Blueberry ยังรับไฟล์เสียงอ้างอิงในพรอมต์วิดีโอได้ด้วย โคลนเฉพาะเสียงของคุณเอง หรือเสียงที่คุณได้รับอนุญาตอย่างชัดเจนเท่านั้น

โมเดลจะเลียนแบบทุกอย่างที่ได้ยิน รวมถึงบรรยากาศของห้องด้วย คลิปที่อัดในครัวที่มีเสียงสะท้อนก็จะได้เสียงที่ฟังเหมือนอยู่ในครัว ควรอัดในห้องเล็กที่มีเฟอร์นิเจอร์นุ่ม ๆ ห่างจากไมโครโฟนประมาณหนึ่งถึงสองฝ่ามือ และไม่มีเพลง เสียงทีวี หรือเสียงคนอื่นเป็นพื้นหลัง บางครั้งการอัดเสียงด้วยโทรศัพท์ในตู้เสื้อผ้าที่เงียบยังให้ผลดีกว่าไมโครโฟนดี ๆ ในห้องโล่ง

พูดด้วยน้ำเสียงที่คุณอยากให้เสียงโคลนเป็นในภายหลัง การอ่านแบบนิ่งและสม่ำเสมอจะได้เสียงเล่าเรื่องที่สงบ ส่วนการอ่านแบบมีชีวิตชีวาจะได้เสียงที่เต็มไปด้วยพลัง ใช้เสียงพูดต่อเนื่อง 10–15 วินาทีที่มีประโยคแตกต่างกันสองสามประโยค เพื่อให้โมเดลได้ยินเสียงที่หลากหลาย และหลีกเลี่ยงการหยุดเงียบนาน ๆ การไอ และเสียงหัวเราะ

หากช่วงที่ดีที่สุดอยู่ในไฟล์เสียงที่ยาวกว่านั้น ให้อัปโหลดทั้งไฟล์ แล้วตั้งเวลาเริ่มต้นไปที่ 15 วินาทีที่ดีที่สุด เสียงตัวละครจะใช้ 10 วินาที ดังนั้นสำหรับตัวละคร ให้เลือก 10 วินาทีที่ฟังดูเหมือนตัวละครนั้นมากที่สุด

• ผู้พูดคนเดียว ห้องเงียบ ไม่มีเพลง
• เสียงพูดต่อเนื่อง 10–15 วินาที
• อ่านด้วยน้ำเสียงที่ต้องการให้ได้กลับมา
• ใช้เวลาเริ่มต้นเพื่อเลือกช่วงที่ดีที่สุด
• รักษาระดับเสียงให้สม่ำเสมอ ไม่แตกพร่า ไม่กระซิบ

ใน Seed Audio ให้แท็กเสียงด้วย @handle ใส่ข้อความที่ต้องการให้พูดไว้ในเครื่องหมายคำพูด และอธิบายลักษณะการพูดกับสถานที่ เช่น "@ana-voice น้ำเสียงอบอุ่น ไม่เร่งรีบ พูดใกล้ไมโครโฟนในห้องเงียบ ว่า: …" handle จะให้เสียงของคน ส่วนคำอธิบายจะกำหนดการแสดงออก

เลือกความยาวก่อนเริ่มเขียน Seed Audio จะให้ผลลัพธ์ตรงตามความยาวที่คุณเลือก คือ 5, 10, 30, 60 หรือ 120 วินาที โดยเติมหรือตัดให้พอดี ดังนั้นควรปรับจำนวนคำให้เหมาะสม โดยทั่วไปคนพูดประมาณสองถึงสามคำต่อวินาที ประโยค 10 วินาทีจึงยาวประมาณ 20–30 คำ ส่วนความเร็วในการพูด ความดัง และระดับเสียงมีการตั้งค่าแยกไว้ให้ปรับเมื่อต้องการแก้น้ำเสียงเล็กน้อย

การรัน Seed Audio หนึ่งครั้งรับเสียงอ้างอิงได้สูงสุดสามรายการ หรือภาพอ้างอิงหนึ่งภาพ แต่ใช้ทั้งสองอย่างพร้อมกันไม่ได้ หากต้องการให้เสียงประกอบฉากจากภาพ ให้รันโดยไม่ใส่เสียงพูด แล้วเพิ่มเสียงพูดในคลิปแยกต่างหาก

• แท็ก @handle ก่อนประโยคที่จะพูด
• ใส่ข้อความที่ต้องการให้พูดไว้ในเครื่องหมายคำพูด
• อธิบายลักษณะการพูดและบรรยากาศของห้อง
• เลือกความยาวก่อน แล้วค่อยปรับจำนวนคำให้พอดี

วิธีที่ง่ายที่สุดคือใช้เสียงตัวละคร เมื่อสร้างหรือแก้ไขตัวละคร ให้เปิด Character Voice แล้วอัปโหลดไฟล์ MP3 หรือ WAV (ระบบจะเก็บ 10 วินาทีแรกนับจากเวลาเริ่มต้นของคุณ) หรือสร้างเสียงจากภาพของตัวละครพร้อมคำอธิบายเพิ่มเติมได้ตามต้องการ โดยราคาเป็น Gems จะแสดงบนปุ่ม หลังจากนั้น Cherry, Raspberry, Plum, Lemon และ MiniMax-H3 จะใช้เสียงนี้ทุกครั้งที่ตัวละครนั้นพูด เว้นแต่คุณจะปิด Character Voices คู่มือ ตัวสร้างตัวละคร AI อธิบายวิธีบันทึกตัวละครไว้แล้ว

คุณยังแท็กเสียงอ้างอิงในพรอมต์วิดีโอได้โดยตรงด้วย Cherry, Plum และ MiniMax-H3 รองรับสูงสุดสามรายการ Lemon รองรับสูงสุดห้ารายการ และ Blueberry รองรับหนึ่งรายการ โดยเสียงตัวละครนับรวมอยู่ในขีดจำกัดเดียวกัน เมื่อแนบเสียงกับ Cherry ต้องมีภาพอย่างน้อยหนึ่งภาพในพรอมต์ เช่น ตัวละครหรือภาพอ้างอิง

หากต้องการให้ประโยคตรงเป๊ะ ให้สร้างประโยคนั้นด้วยเสียงที่โคลนใน Seed Audio แล้วเปิด Lipsync พร้อมภาพบุคคลหรือตัวละครที่บันทึกไว้ และเสียงนั้นยาวไม่เกิน 15 วินาที คู่มือ ภาพถ่ายพูดได้ด้วย AI แสดงขั้นตอนทั้งหมด

โคลนได้เฉพาะเสียงของคุณเองหรือเสียงที่คุณได้รับอนุญาตอย่างชัดเจนเท่านั้น Mage ไม่อนุญาตให้เลียนแบบบุคคลจริงโดยไม่ได้รับความยินยอม และแนวทางปฏิบัติของชุมชนห้ามแอบอ้างเป็นเพื่อน คนดัง บุคคลสาธารณะ หรือแบรนด์เพื่อจุดประสงค์ที่เป็นอันตราย และห้ามเนื้อหาที่ผิดกฎหมายในประเทศที่คุณอาศัยอยู่ หากมีคนขอให้ลบผลงานที่มีเขาอยู่ ให้ลบออก

ขอการอนุญาตเป็นลายลักษณ์อักษร และระบุให้เฉพาะเจาะจง: เสียงของใคร จะพูดว่าอะไร จะเผยแพร่ที่ไหน ใช้เชิงพาณิชย์หรือไม่ และนานเท่าใด สัญญากับนักพากย์ควรระบุการใช้เสียงสังเคราะห์อย่างชัดเจน เพราะหนังสืออนุญาตการอัดเสียงทั่วไปมักไม่ครอบคลุมเรื่องนี้

กฎหมายก็เป็นไปในทิศทางเดียวกัน ในสหรัฐอเมริกา FCC วินิจฉัยเมื่อเดือนกุมภาพันธ์ 2024 ว่าเสียงที่สร้างด้วย AI ถือเป็นเสียง "ปลอม" ตามกฎหมายว่าด้วยการโทรอัตโนมัติ การใช้เสียงดังกล่าวในการโทรอัตโนมัติโดยไม่ได้รับความยินยอมจึงผิดกฎหมาย และ ELVIS Act ของรัฐเทนเนสซีซึ่งมีผลบังคับใช้ตั้งแต่เดือนกรกฎาคม 2024 ห้ามใช้ AI เลียนเสียงของบุคคลโดยไม่ได้รับอนุญาต หน้านี้ไม่ใช่คำแนะนำทางกฎหมาย โปรดตรวจสอบกฎในที่ที่คุณเผยแพร่

ผู้ให้บริการโมเดลวิดีโอก็ตรวจสอบเสียงเช่นกัน การรันอาจถูกปฏิเสธหากคลิปมีเพลงที่มีลิขสิทธิ์หรือเสียงของบุคคลจริง และหากถูกปฏิเสธ คุณจะได้รับเงินคืน

• เสียงของคุณเอง: ทำได้เลย
• เสียงของคนอื่น: ต้องได้รับอนุญาตเป็นลายลักษณ์อักษรก่อน
• บุคคลสาธารณะและคนดัง: ห้ามใช้หากไม่มีใบอนุญาต
• ห้ามใช้เพื่อหลอกลวง: ไม่ปลอมสายโทรศัพท์ การรับรอง หรือคำพูด
• ระบุว่าเป็นเสียงสังเคราะห์ที่สมจริงเมื่อแพลตฟอร์มกำหนด

โคลนเสียงเมื่อผู้พูดต้องเป็นคนใดคนหนึ่งโดยเฉพาะ เช่น ตัวคุณเอง นักพากย์ที่ยินยอม หรือตัวละครที่คุณทำเสียงไว้แล้ว แต่ถ้าเสียงดี ๆ เสียงไหนก็ได้ การใช้เสียงที่มีให้ในระบบจะเร็วกว่า: AI แปลงข้อความเป็นเสียงพูด อ่านได้สูงสุด 5,000 ตัวอักษรด้วยเสียง ElevenLabs 16 เสียง และตัวสร้างเสียง AI อธิบายวิธีกำกับการอ่านด้วยแท็กเสียงและวิธีบรรยายเสียงใหม่ในพรอมต์

Eleven Speech ไม่โคลนเสียงบน Mage โดยจะพูดได้เฉพาะเสียงที่มีให้ในระบบเท่านั้น การโคลนเสียงทำงานบน Seed Audio และโมเดลวิดีโอที่อ่านเสียงอ้างอิงและเสียงตัวละครได้ นักพัฒนาทำทั้งหมดนี้ได้ผ่านAPI สร้างเสียง