AI लिप सिंक

AI लिप सिंक एक स्टिल इमेज और एक ऑडियो क्लिप को ऐसे वीडियो में बदलता है, जिसमें इमेज का किरदार वह ऑडियो बोलता या गाता है। मॉडल आवाज़ सुनता है, हर शब्दांश के लिए होंठ का आकार तय करता है, और चेहरे को उसी के मुताबिक एनिमेट करता है, सिर की छोटी हरकतों और एक्सप्रेशन के साथ, ताकि बोलना असली लगे और फ़ोटो पर मुंह बस हिलता हुआ न दिखे।

Mage का Lipsync ऐप यह सब एक ही तस्वीर से करता है। फ़ोटो अपलोड करें या सेव किया हुआ कैरेक्टर चुनें, 15 सेकंड तक की वॉइस लाइन, गाना या नैरेशन जोड़ें, और एक वीडियो मॉडल चुनें। कैमरा किरदार पर टिका रहता है, और उसका लुक, फ़्रेमिंग, लाइटिंग और माहौल आपकी इमेज जैसा ही रहता है। आप सीन के लिए छोटा-सा निर्देश भी जोड़ सकते हैं, जैसे नया बैकग्राउंड या कोई मूड, और Mage उसे अपने लिप सिंक निर्देश के बाद लागू करता है।

यह उन क्रिएटर्स के लिए है जिनके पास ऑडियो पहले से है: प्रोडक्ट क्लिप की वॉइसओवर, किसी दूसरी भाषा में डब की हुई लाइन, पॉडकास्ट का कोई कोट, या गाने की एक पंक्ति। अगर आवाज़ अभी बनानी है, तो पहले Seed Audio से बनाएं और यहां ले आएं। अगर किरदार को सिर्फ़ बोलना है, तो Lipsync सही टूल है। अगर उसे कैमरा मूव और डांस के साथ परफ़ॉर्म करना है, तो Music Video ऐप बेहतर रहेगा।

नतीजे का ज़्यादातर हिस्सा ऑडियो तय करती है। एक आवाज़ वाली सादी रिकॉर्डिंग, जिसमें न म्यूज़िक हो और न कमरे की गूँज, मॉडल को साफ़ अक्षर देती है जिन्हें वह फ़ॉलो कर सके। बैकग्राउंड म्यूज़िक और एक साथ बोलती आवाज़ें उन व्यंजनों को धुंधला कर देती हैं जिनसे मुँह के आकार बनते हैं। इसलिए क्लिप को ज़रूरी लाइन तक ट्रिम करें और शुरुआत की ख़ामोशी काट दें, क्योंकि जब तक कुछ बोला नहीं जाता, चेहरा रुका रहता है।

बाकी नतीजा इमेज तय करती है। जो चेहरा फ़्रेम का अच्छा-ख़ासा हिस्सा घेरे, लगभग कैमरे की ओर देखे और जिसका मुँह खुला दिखे, वह मॉडल को काम करने की गुंजाइश देता है। मुँह पर हाथ, पूरी साइड प्रोफ़ाइल और वाइड शॉट में बहुत छोटे चेहरे क्लिप के अटपटे दिखने की आम वजहें हैं। अगर आप जनरेट किए हुए पोर्ट्रेट से शुरू कर रहे हैं, तो उसे बंद या ढीले मुँह के साथ बनाएँ, ताकि पहले फ़्रेम किसी शब्द के बीच से शुरू न हों।

• ऑडियो को ठीक उसी लाइन तक ट्रिम करें, ज़्यादा से ज़्यादा 15 सेकंड
• बैकग्राउंड म्यूज़िक के बिना एक साफ़ आवाज़ इस्तेमाल करें
• सामने की ओर देखती ऐसी फ़ोटो चुनें जिसमें मुँह दिखता हो
• सीन डायरेक्शन छोटे रखें: कोई जगह, आउटफ़िट या मूड
• कुछ भी दोबारा लिखने से पहले दूसरा मॉडल आज़माएँ

हर Lipsync रन में 15 सेकंड तक की ऑडियो ली जा सकती है। पूरे वॉइसओवर या लंबे गाने के लिए ऑडियो को स्वाभाविक ठहराव पर 15 सेकंड या उससे छोटे टुकड़ों में बाँटें, और हर टुकड़े को उसी फ़ोटो या सेव किए हुए कैरेक्टर के साथ सिंक करें। सेव किया हुआ कैरेक्टर एक हिस्से से दूसरे हिस्से तक चेहरा एक जैसा रखता है, और इसी से कट दिखाई नहीं देते।

जब हिस्से तैयार हो जाएँ, तो उन्हें Storyboard में क्रम से लगाएँ। यह छह तक सेव किए हुए क्लिप को क्रम में रखकर उन्हें आवाज़ समेत एक MP4 के रूप में एक्सपोर्ट करता है। किसी खाली पोर्ट्रेट से शुरू कर रहे हैं? AI टॉकिंग फ़ोटो गाइड में चेहरे को एनिमेट करने के साथ-साथ वॉइस लाइन लिखने के बारे में भी बताया गया है।

छोटे क्लिप को डब करने का लिप सिंक एक व्यावहारिक तरीक़ा है। नई भाषा में लाइन रिकॉर्ड या जनरेट करें, उसकी डिलीवरी को मूल रफ़्तार के क़रीब रखें, और उसे ऐसे स्पीकर की स्टिल इमेज पर चलाएँ जिसे इस्तेमाल करने की आपके पास अनुमति हो। मुँह नई ऑडियो से एनिमेट होता है, इसलिए होंठ मूल शब्दों के बजाय अनुवादित शब्दों के साथ चलते हैं।

किसी नियमित नैरेटर या पूरी सीरीज़ में बोलने वाले कैरेक्टर के लिए, चेहरा एक बार AI कैरेक्टर जनरेटर से बनाएँ, फिर बोलने वाले शॉट के बीच-बीच में AI इमेज से वीडियो से चलते हुए शॉट जोड़ें। कैमरा मूव वाली गायन परफ़ॉर्मेंस के लिए AI म्यूज़िक वीडियो जनरेटर ठीक इसी काम के लिए बना है।