แปลวิดีโอ ด้วย AI

AI แปลวิดีโอคือเครื่องมือที่รับวิดีโอภาษาหนึ่งแล้วเปลี่ยนเป็นอีกภาษา โดยแปลคำพูด สร้างแทร็กเสียงใหม่ในภาษาปลายทาง และในอุดมคติคือให้ปากของผู้พูดขยับตรงกับคำใหม่ บริการพากย์เสียงเต็มรูปแบบทำทั้งหมดนี้จากการอัปโหลดครั้งเดียว ส่วน Mage แยกเสียงกับริมฝีปากเป็นเครื่องมือคนละตัวที่คุณควบคุมได้เอง เหมาะกับคลิปสั้น เช่น โฆษณา คลิปเปิดตัว และวิดีโอตัวละคร มากกว่าการบันทึกยาวเป็นชั่วโมง

ขอบเขตการทำงานเป็นแบบนี้ Mage ไม่ถอดเสียงหรือแปลวิดีโอของคุณเอง และไม่เพิ่มซับไตเติล คุณ นักแปล หรือผู้ช่วย AI ของคุณเป็นคนเขียนสคริปต์ในภาษาใหม่ จากนั้น Eleven Speech จะอ่านสคริปต์ได้กว่า 90 ภาษา และ Lipsync จะทำให้ภาพนิ่งของผู้พูด ซึ่งอาจเป็นเฟรมชัด ๆ จากวิดีโอของคุณหรือตัวละครที่บันทึกไว้ ขยับริมฝีปากตามเสียงใหม่ ได้สูงสุด 15 วินาทีต่อคลิป

ผลลัพธ์คือคลิปพูดคลิปใหม่ที่สร้างจากเฟรมนั้น ไม่ใช่ฟุตเทจต้นฉบับที่เปลี่ยนแค่ปาก ดังนั้นท่าทางของผู้พูดและการเคลื่อนกล้องของต้นฉบับจะไม่ถูกเก็บไว้ ถ้าเป็นเสียงบรรยายที่ไม่เห็นผู้พูด ก็ไม่ต้องซิงก์ปากเลย แค่วางเสียงใหม่ทับภาพต้นฉบับในโปรแกรมตัดต่อ ส่วนข้อความในภาพโฆษณา สกิล Ad Localizer จะแทนที่ให้ตรงตำแหน่งเดิม

สิ่งที่อัตโนมัติบน Mage: Eleven Speech เปลี่ยนสคริปต์ที่เขียนเป็นเสียงพูดในภาษาที่คุณเขียน โดยควบคุมจังหวะและอารมณ์ได้ด้วยแท็ก เช่น [whispers] หรือ [laughs] Lipsync เปลี่ยนภาพหนึ่งภาพกับเสียงสูงสุด 15 วินาทีให้เป็นวิดีโอที่ตัวแบบพูดตามเสียงนั้น พร้อมสีหน้าที่เป็นธรรมชาติและการขยับศีรษะเล็กน้อย ส่วนสกิล Ad Localizer ในผู้ช่วยของคุณจะถอดข้อความในโฆษณาภาพนิ่ง ให้ผู้ช่วยแปล แล้วแทนที่แต่ละบรรทัดด้วยฟอนต์ ขนาด และตำแหน่งเดิม หลังจากที่คุณอนุมัติข้อความ

สิ่งที่ไม่อัตโนมัติ: การถอดเสียงพูดต้นฉบับ การแปลบทพูด การปรับจังหวะของบรรทัดใหม่ให้ตรงกับต้นฉบับ การคงเสียงของผู้พูดคนเดิม การแยกดนตรีประกอบออกจากเสียงพูด และซับไตเติล Mage ไม่มีเครื่องมือแปลงเสียงเป็นข้อความ ไม่มีการพากย์อัตโนมัติ และไม่มีเครื่องมือสร้างคำบรรยาย นอกจากนี้ Lipsync สร้างคลิปใหม่จากภาพนิ่ง จึงไม่เก็บการเคลื่อนไหว การตัดต่อ หรือคนอื่นในฉากของฟุตเทจต้นฉบับไว้

• อัตโนมัติ: เสียงจากสคริปต์ของคุณ ได้กว่า 90 ภาษา
• อัตโนมัติ: ซิงก์ปากกับเสียงใหม่จากภาพเดียว
• อัตโนมัติ: แทนที่ข้อความโฆษณาบนภาพหลังจากที่คุณอนุมัติ
• ส่วนของคุณ: ทรานสคริปต์ การแปล และการตรวจขั้นสุดท้าย
• ยังทำไม่ได้: ซับไตเติล หรือการเปลี่ยนปากบนฟุตเทจต้นฉบับ

สคริปต์พากย์ไม่ใช่ไฟล์ซับไตเติล ต้องพูดให้จบในเวลาใกล้เคียงกับต้นฉบับ จึงต้องแปลให้ได้ทั้งความหมายและความยาว ภาษาเยอรมันและฝรั่งเศสมักยาวกว่าภาษาอังกฤษ ส่วนภาษาญี่ปุ่นและจีนมักสั้นกว่า ถ้ายาวเกินให้ตัดบรรทัดให้สั้นลงแทนการเร่งความเร็วเสียง คงชื่อแบรนด์และชื่อสินค้าไว้ตามเดิม และอ่านตัวเลข วันที่ และราคาแบบที่เจ้าของภาษาพูดกัน

ถ้าคุณใช้ Claude, ChatGPT หรือผู้ช่วย AI อื่นที่ เชื่อมต่อ Mage แล้ว, ผู้ช่วยจะร่างคำแปลและแสดงให้คุณดูทีละบรรทัดก่อนจะสร้างเสียงจริง คำแปลนี้เป็นผลงานของผู้ช่วย ไม่ใช่ฟีเจอร์ของ Mage ดังนั้นหากเป็นงานที่ลูกค้าจะเห็น ควรให้เจ้าของภาษาช่วยตรวจอีกรอบ จากนั้นแบ่งสคริปต์ตามจังหวะหยุดตามธรรมชาติเป็นท่อนละไม่เกิน 15 วินาที ซึ่งเป็นความยาวของคลิป Lipsync หนึ่งคลิป

ใช้ Eleven Speech กับงานแปลส่วนใหญ่ เลือกหนึ่งใน 16 เสียงที่เหมาะกับอายุและพลังของผู้พูด เขียนสคริปต์เป็นภาษาปลายทาง แล้วกำกับการอ่านด้วยแท็กเสียงในวงเล็บเหลี่ยม ไฟล์ MP3 จะยาวเท่ากับสคริปต์พอดี รองรับสูงสุด 5,000 ตัวอักษรต่อคำขอ จึงไม่มีช่วงเงียบให้ตัดออก ดูคู่มือ AI แปลงข้อความเป็นเสียงพูด ที่อธิบายเรื่องเสียงและแท็กโดยละเอียด

Eleven Speech พูดได้เฉพาะเสียงที่ตั้งไว้ให้เท่านั้น หากต้องการให้แทร็กใหม่ฟังเหมือนผู้พูดต้นฉบับ Seed Audio สามารถนำเสียงจากไฟล์เสียงอ้างอิงได้สูงสุดสามไฟล์ โดยใช้เฉพาะเสียงที่คุณได้รับอนุญาตให้ใช้เท่านั้น ความยาวที่สร้างได้มีแบบตายตัวคือ 5, 10, 30, 60 หรือ 120 วินาที จึงควรลองกับประโยคสั้น ๆ เพื่อเช็กจังหวะและภาษาก่อนใช้สคริปต์เต็ม ดูคู่มือ AI โคลนเสียง ที่อธิบายการทำเสียงให้ตรงกับต้นฉบับอย่างละเอียด

การโคลนเสียงของตัวเองเพื่อพากย์เป็นเรื่องปกติ เช่น YouTube ก็จัดให้เป็นการใช้ AI ที่ไม่ต้องระบุว่าเนื้อหาถูกแก้ไข แต่การโคลนเสียงของคนอื่นเป็นอีกเรื่องหนึ่ง และ Mage ไม่อนุญาตให้เลียนแบบบุคคลจริงโดยไม่ได้รับความยินยอม

เมื่อมีคนพูดต่อหน้ากล้อง ให้เลือกเฟรมที่เห็นหน้าตรงชัดที่สุดจากวิดีโอ เห็นปากชัดและปิดหรืออยู่ในท่าผ่อนคลาย แล้วใช้เป็นตัวแบบใน Lipsync จากนั้นเพิ่มเสียงที่แปลแล้วยาวไม่เกิน 15 วินาที และเลือกโมเดล โดย Plum เป็นค่าเริ่มต้น ส่วน Blueberry 2 จะทำให้ภาพที่คุณใส่เข้าไปขยับตามจริง จึงคงหน้าตาของเฟรมต้นฉบับไว้ได้ แต่ละคลิปเป็นการแสดงใหม่จากภาพนิ่งนั้น โดยกล้องนิ่งอยู่กับผู้พูด

สำหรับผู้พูดที่ปรากฏในหลายตอน ให้บันทึกเป็นตัวละคร เพื่อให้ใบหน้าเหมือนเดิมในทุกภาษา แล้วเรียงคลิปใน Storyboard ซึ่งรวมได้สูงสุดหกคลิปเป็นไฟล์ MP4 เดียวพร้อมเสียง ดูคู่มือ AI ทำภาพถ่ายให้พูดได้ ที่อธิบายวิธีเลือกเฟรมที่ขยับได้ดี

หากไม่มีใครพูดหน้ากล้อง เช่น วิดีโออธิบายที่มีเสียงบรรยาย เดโมสินค้า หรือการอัดหน้าจอ ไม่ต้องใช้ลิปซิงก์ ให้สร้างเสียงบรรยายใหม่แล้วเปลี่ยนแทร็กเสียงในโปรแกรมตัดต่อวิดีโอของคุณ Mage ไม่ได้ผสมเสียงใหม่เข้ากับวิดีโอที่มีอยู่ให้

• เลือกเฟรมหน้าตรงที่เห็นปากชัดเจน
• แบ่งเสียงเป็นท่อนละไม่เกิน 15 วินาที
• บันทึกผู้พูดที่ปรากฏซ้ำเป็นตัวละคร
• หากไม่มีใครอยู่หน้ากล้อง ให้เปลี่ยนเสียงในโปรแกรมตัดต่อ

โฆษณาภาพนิ่งสื่อสารผ่านข้อความ ทั้งพาดหัว ปุ่ม และข้อเสนอ สกิล Ad Localizer จัดการส่วนเหล่านี้ในผู้ช่วยของคุณ โดยถอดข้อความทุกบรรทัด แปลตามความหมายและน้ำเสียง ปรับการตัดบรรทัด รูปแบบตัวเลข และเลย์เอาต์แบบขวาไปซ้าย แล้วแสดงข้อความให้คุณอนุมัติ จากนั้นจะแทนที่แต่ละบรรทัดในภาพด้วย GPT Image 2.5 Flare โดยคงสไตล์ตัวอักษร เลย์เอาต์ สินค้า และโลโก้ไว้ และไม่แตะชื่อแบรนด์กับข้อความบนบรรจุภัณฑ์ สกิลนี้ไม่แปลเสียงบรรยายในวิดีโอ ดูได้ที่หน้า สกิลของ Mage และดู AI สร้างโฆษณา สำหรับขั้นตอนทำโฆษณาส่วนที่เหลือ