ทำให้ภาพถ่ายพูดได้

AI ลิปซิงค์เปลี่ยนภาพนิ่งกับคลิปเสียงให้เป็นวิดีโอที่ตัวแบบพูดหรือร้องตามเสียงนั้น โมเดลจะฟังเสียง หารูปปากที่แต่ละพยางค์ต้องใช้ แล้วทำให้ใบหน้าขยับตาม พร้อมการเคลื่อนไหวของศีรษะและสีหน้าเล็ก ๆ น้อย ๆ ที่ทำให้การพูดดูสมจริง ไม่ใช่แค่ปากขยับอยู่บนรูปถ่าย

แอป Lipsync ของ Mage ทำสิ่งนี้ได้จากภาพเพียงภาพเดียว อัปโหลดรูปถ่ายหรือเลือกตัวละครที่บันทึกไว้ เพิ่มเสียงพูด เพลง หรือเสียงบรรยายยาวสูงสุด 15 วินาที แล้วเลือกโมเดลวิดีโอ ตัวแบบจะคงหน้าตา การจัดเฟรม แสง และฉากของภาพคุณไว้ โดยกล้องนิ่งอยู่กับตัวแบบ คุณเพิ่มคำสั่งฉากสั้น ๆ ได้ เช่น พื้นหลังใหม่หรืออารมณ์ของภาพ แล้ว Mage จะนำไปใช้ต่อจากคำสั่งลิปซิงค์ของตัวเอง

เหมาะสำหรับครีเอเตอร์ที่มีเสียงอยู่แล้ว เช่น เสียงพากย์สำหรับคลิปสินค้า ประโยคพากย์เป็นอีกภาษา คำพูดจากพอดแคสต์ หรือเนื้อเพลงหนึ่งท่อน หากยังไม่มีเสียง ให้สร้างด้วย Seed Audio ก่อนแล้วนำมาใช้ต่อ ถ้าต้องการให้คนในภาพแค่พูด Lipsync คือเครื่องมือที่ใช่ แต่ถ้าต้องการให้แสดง พร้อมการเคลื่อนกล้องและการเต้น แอป Music Video จะเหมาะกว่า

เสียงเป็นตัวกำหนดผลลัพธ์เป็นส่วนใหญ่ การบันทึกเสียงที่แห้งสะอาด มีเสียงเดียว ไม่มีดนตรีประกอบและไม่มีเสียงสะท้อนในห้อง จะทำให้โมเดลได้พยางค์ที่ชัดเจนไว้ใช้ตาม ส่วนดนตรีพื้นหลังและเสียงคนพูดแทรกกันจะทำให้พยัญชนะที่ใช้กำหนดรูปปากไม่ชัด ดังนั้นให้ตัดคลิปเหลือเฉพาะประโยคที่ต้องการ และตัดช่วงเงียบตอนต้นออก เพราะใบหน้าจะยังนิ่งรอในขณะที่ไม่มีเสียงพูด

ส่วนที่เหลือขึ้นอยู่กับรูปภาพ ใบหน้าที่ใหญ่พอสมควรในเฟรม หันไปทางกล้องคร่าว ๆ และเห็นปากไม่มีอะไรบัง จะช่วยให้โมเดลทำงานได้ดี มือที่ปิดปาก ใบหน้าด้านข้างเต็มตัว และใบหน้าเล็กมากในภาพมุมกว้างคือสาเหตุที่พบบ่อยที่ทำให้คลิปดูแปลก หากเริ่มจากภาพพอร์ตเทรตที่สร้างขึ้น ให้สร้างภาพที่ปิดปากหรือผ่อนคลาย เพื่อไม่ให้เฟรมแรกดูเหมือนกำลังพูดค้างอยู่

• ตัดเสียงให้เหลือเฉพาะประโยคที่ต้องการ ไม่เกิน 15 วินาที
• ใช้เสียงพูดที่ชัดเจนเสียงเดียว ไม่มีดนตรีประกอบ
• เลือกรูปที่หันหน้าตรงและเห็นปากชัดเจน
• เขียนคำกำกับฉากให้สั้น เช่น สถานที่ ชุด หรืออารมณ์
• ลองโมเดลที่สองก่อนจะแก้อะไรใหม่

Lipsync แต่ละรอบรองรับเสียงได้สูงสุด 15 วินาที หากเป็นเสียงบรรยายเต็มหรือเพลงที่ยาวกว่านั้น ให้แบ่งเสียงตามจังหวะหยุดที่เป็นธรรมชาติเป็นช่วงละไม่เกิน 15 วินาที แล้วซิงค์แต่ละช่วงกับรูปภาพเดียวกันหรือตัวละครที่บันทึกไว้ตัวเดิม ตัวละครที่บันทึกไว้จะรักษาใบหน้าให้เหมือนเดิมในทุกช่วง จึงทำให้รอยตัดต่อแทบไม่ปรากฏ

เมื่อแต่ละช่วงพร้อมแล้ว ให้นำมาเรียงต่อกันใน Storyboard ซึ่งเรียงคลิปที่บันทึกไว้ได้สูงสุดหกคลิป แล้วส่งออกพร้อมเสียงเป็นไฟล์ MP4 ไฟล์เดียว ถ้าเริ่มจากภาพพอร์ตเทรตเปล่า ๆ ล่ะ? ดู คู่มือรูปภาพพูดได้ด้วย AI ซึ่งครอบคลุมทั้งการเขียนบทพูดและการทำให้ใบหน้าขยับ

ลิปซิงค์เป็นวิธีที่ใช้ได้จริงในการพากย์คลิปสั้น บันทึกหรือสร้างเสียงพูดเป็นภาษาใหม่ รักษาจังหวะการพูดให้ใกล้เคียงต้นฉบับ แล้วรันกับภาพนิ่งของผู้พูดที่คุณได้รับอนุญาตให้ใช้ เนื่องจากปากขยับตามเสียงใหม่ ริมฝีปากจึงตามคำที่แปลแล้ว ไม่ใช่คำต้นฉบับ

หากต้องการผู้บรรยายประจำหรือตัวละครที่พูดตลอดทั้งซีรีส์ ให้สร้างใบหน้าเพียงครั้งเดียวด้วย เครื่องมือสร้างตัวละครด้วย AI จากนั้นเพิ่มช็อตเคลื่อนไหวคั่นระหว่างช็อตพูดด้วย AI แปลงภาพเป็นวิดีโอ ส่วนการแสดงร้องเพลงที่มีการเคลื่อนกล้อง เครื่องมือสร้างมิวสิกวิดีโอด้วย AI สร้างมาเพื่องานแบบนี้โดยเฉพาะ