مزامنة الشفاه بالذكاء الاصطناعي

تحوّل مزامنة الشفاه بالذكاء الاصطناعي صورة ثابتة ومقطعًا صوتيًا إلى فيديو يتحدث فيه الشخص أو يغني ذلك الصوت. يستمع النموذج إلى الصوت، ويحدد شكل الفم الذي يحتاجه كل مقطع صوتي، ثم يحرّك الوجه بما يناسبه، مع حركات الرأس الصغيرة والتعبيرات التي تجعل الكلام يبدو حقيقيًا بدل فم يتحرك على صورة.

يفعل تطبيق Lipsync من Mage ذلك انطلاقًا من صورة واحدة. ارفع صورة أو اختر شخصية محفوظة، وأضف جملة صوتية أو أغنية أو تعليقًا صوتيًا حتى 15 ثانية، ثم اختر نموذج فيديو. يحافظ الشخص على مظهر صورتك وتأطيرها وإضاءتها ومكانها بينما تبقى الكاميرا ثابتة عليه. يمكنك إضافة توجيه قصير للمشهد، مثل خلفية جديدة أو أجواء معينة، ويطبّقه Mage بعد تعليمات مزامنة الشفاه الخاصة به.

صُمّم للمبدعين الذين لديهم الصوت بالفعل: تعليق صوتي لمقطع منتج، أو جملة مدبلجة بلغة أخرى، أو اقتباس من بودكاست، أو مقطع من أغنية. وإذا كنت تحتاج إلى الصوت نفسه، فأنشئه أولًا باستخدام Seed Audio ثم انقله إلى هنا. إذا كان الشخص سيتحدث فقط، فـ Lipsync هو الأداة المناسبة. وإذا كان سيؤدي عرضًا مع حركات كاميرا ورقص، فتطبيق Music Video هو الأنسب.

الصوت هو ما يحدد معظم النتيجة. التسجيل النقي بصوت واحد، دون موسيقى خلفية أو صدى في الغرفة، يمنح النموذج مقاطع صوتية واضحة يتبعها. أما الموسيقى الخلفية وتداخل الأصوات فيطمسان الحروف الساكنة التي تُبنى عليها أشكال الفم، لذا اقتطع المقطع على السطر الذي تحتاجه واحذف الصمت من بدايته، فالوجه ينتظر ما دام لا يُقال شيء.

أما الصورة فتحدد الباقي. الوجه الذي يشغل جزءًا جيدًا من الإطار وينظر تقريبًا نحو الكاميرا ويظهر فمه دون عائق يمنح النموذج مساحة للعمل. اليد فوق الفم، والوجه الجانبي الحاد، والوجوه الصغيرة جدًا في اللقطات الواسعة هي الأسباب المعتادة لظهور المقطع بشكل غير طبيعي. وإن كنت تبدأ من صورة شخصية مولَّدة، فاجعل الفم مغلقًا أو مسترخيًا حتى لا تبدأ الإطارات الأولى في منتصف كلمة.

• اقتطع الصوت على السطر المطلوب بالضبط، بحد أقصى 15 ثانية
• استخدم صوتًا واحدًا واضحًا بلا موسيقى خلفية
• اختر صورة أمامية يظهر فيها الفم
• اجعل توجيهات المشهد قصيرة: مكان أو زيّ أو أجواء
• جرّب نموذجًا ثانيًا قبل إعادة كتابة أي شيء

يقبل كل تشغيل في Lipsync ما يصل إلى 15 ثانية من الصوت. للتعليق الصوتي الكامل أو الأغنية الأطول، قسّم الصوت عند فواصل طبيعية إلى أجزاء مدة كل منها 15 ثانية أو أقل، وزامن كل جزء مع الصورة نفسها أو الشخصية المحفوظة نفسها. تُبقي الشخصية المحفوظة الوجه مطابقًا من مقطع إلى آخر، وهذا ما يجعل الانتقالات غير ملحوظة.

عندما تصبح المقاطع جاهزة، رتّبها في Storyboard، الذي يضع ما يصل إلى ستة مقاطع محفوظة بالترتيب ويصدّرها مع صوتها في ملف MP4 واحد. هل تبدأ من صورة فقط؟ يتناول دليل الصورة الناطقة بالذكاء الاصطناعي كتابة السطر الصوتي إلى جانب تحريك الوجه.

مزامنة الشفاه طريقة عملية لدبلجة مقطع قصير. سجّل السطر بلغته الجديدة أو أنشئه، وأبقِ الأداء قريبًا من إيقاع الأصل، ثم طبّقه على صورة ثابتة لمتحدث لديك إذن باستخدامه. ولأن الفم يُحرَّك بحسب الصوت الجديد، فإن الشفاه تتبع الكلمات المترجمة لا الكلمات الأصلية.

للراوي المتكرر أو الشخصية التي تتحدث عبر سلسلة كاملة، أنشئ الوجه مرة واحدة باستخدام مولّد الشخصيات بالذكاء الاصطناعي، ثم أضف لقطات متحركة بين اللقطات الناطقة عبر تحويل الصورة إلى فيديو بالذكاء الاصطناعي. وللأداء الغنائي مع حركات الكاميرا، فإن مولّد الفيديو الموسيقي بالذكاء الاصطناعي مصمم لهذا الغرض تحديدًا.