AI वॉइस क्लोनिंग

वॉइस क्लोनिंग किसी एक खास आवाज़ की तरह नई स्पीच बनाती है: उसकी पिच, उसकी बनावट, उसका लहजा और शब्दों को बोलने का तरीका। पहले के सिस्टम को आम तौर पर लंबी स्टूडियो रिकॉर्डिंग और ट्रेनिंग रन की ज़रूरत होती थी। आज के कई मॉडल एक छोटी रेफ़रेंस क्लिप से काम करते हैं: वे आवाज़ के कुछ सेकंड सुनते हैं और उससे मेल खाती आवाज़ में नया टेक्स्ट बोलते हैं।

Mage में क्लोन की गई आवाज़ एक ऑडियो रेफ़रेंस से शुरू होती है। आप MP3 या WAV अपलोड करते हैं, कोई क्रिएशन या सेव की हुई साउंड चुनते हैं, या ऑडियो या सोशल लिंक पेस्ट करते हैं, क्लिप की शुरुआत चुनते हैं, और Mage उसके 15 सेकंड तक @handle के तहत रख लेता है। Seed Audio प्रॉम्प्ट में वह handle लिखें, और वह आपका टेक्स्ट उसी आवाज़ में, आपकी तय की हुई ठीक उतनी लंबाई के MP3 के रूप में बोलता है। इसमें कोई ट्रेनिंग स्टेप नहीं है: हर बार इस्तेमाल करने पर क्लिप पढ़ी जाती है।

वही आवाज़ वीडियो में भी साथ चलती है। किसी क्लिप को किरदार की आवाज़ के रूप में सेव करें, तो जब भी वह किरदार बोलता है, Cherry, Raspberry, Plum, Lemon और MiniMax-H3 उसे इस्तेमाल करते हैं; Cherry, Plum, Lemon, MiniMax-H3 और Blueberry वीडियो प्रॉम्प्ट में ऑडियो रेफ़रेंस भी लेते हैं। सिर्फ़ अपनी आवाज़ क्लोन करें, या ऐसी आवाज़ जिसके इस्तेमाल की आपके पास साफ़ अनुमति हो।

मॉडल वही कॉपी करता है जो वह सुनता है, कमरे की आवाज़ भी। गूँज वाली रसोई में रिकॉर्ड की गई क्लिप का नतीजा रसोई जैसा ही सुनाई देता है। नरम फ़र्निशिंग वाले छोटे कमरे में, माइक्रोफ़ोन से एक-दो हथेली की दूरी पर रिकॉर्ड करें, और पीछे संगीत, टीवी या दूसरी आवाज़ें न हों। खाली कमरे में अच्छे माइक्रोफ़ोन से बेहतर अक्सर शांत अलमारी में फ़ोन का वॉइस मेमो रहता है।

वैसे बोलें जैसी आवाज़ आप बाद में चाहते हैं। शांत और सधी हुई रीडिंग शांत नैरेशन में क्लोन होती है, जबकि जोशीली रीडिंग ऊर्जा के साथ क्लोन होती है। कुछ अलग-अलग वाक्यों के साथ दस से पंद्रह सेकंड लगातार बोलें, ताकि मॉडल को कई तरह की ध्वनियाँ सुनने को मिलें, और लंबे विराम, खाँसी और हँसी से बचें।

अगर आपका सबसे अच्छा टेक किसी लंबी रिकॉर्डिंग के भीतर है, तो पूरी फ़ाइल अपलोड करें और स्टार्ट टाइम को सबसे अच्छे 15 सेकंड पर सेट करें। कैरेक्टर वॉइस में 10 सेकंड रखे जाते हैं, इसलिए कैरेक्टर के लिए वे 10 सेकंड चुनें जो उसकी आवाज़ से सबसे ज़्यादा मेल खाते हों।

• एक वक्ता, शांत कमरा, कोई संगीत नहीं।
• दस से पंद्रह सेकंड की लगातार बोली गई आवाज़।
• उसी लहजे में पढ़ें जो आप वापस चाहते हैं।
• सबसे अच्छा हिस्सा चुनने के लिए स्टार्ट टाइम इस्तेमाल करें।
• आवाज़ का स्तर स्थिर रखें: न क्लिपिंग, न फुसफुसाहट।

Seed Audio में आवाज़ को उसके @handle से मेंशन करें, सटीक शब्द उद्धरण चिह्नों में लिखें, और बोलने के अंदाज़ और जगह का वर्णन करें: "@ana-voice, गर्मजोशी भरी और बिना जल्दबाज़ी के, शांत कमरे में माइक्रोफ़ोन के पास, कहती है: …"। हैंडल आवाज़ की पहचान लाता है; वर्णन प्रस्तुति को आकार देता है।

लिखने से पहले अवधि चुनें। Seed Audio ठीक वही अवधि लौटाता है जो आप चुनते हैं, यानी 5, 10, 30, 60 या 120 सेकंड, और ज़रूरत के हिसाब से खाली जगह जोड़ता या ट्रिम करता है, इसलिए शब्दों को उसी के अनुसार रखें। लोग स्वाभाविक गति से एक सेकंड में दो से तीन शब्द बोलते हैं, यानी 10 सेकंड की लाइन में 20 से 30 शब्द। रीडिंग को थोड़ा बदलना हो तो बोलने की गति, वॉल्यूम और पिच अलग सेटिंग के रूप में उपलब्ध हैं।

Seed Audio के एक रन में या तो अधिकतम तीन ऑडियो रेफ़रेंस लिए जा सकते हैं या एक इमेज रेफ़रेंस, दोनों नहीं। किसी तस्वीर पर आधारित दृश्य में साउंड जोड़ने के लिए उसे आवाज़ के बिना चलाएँ, और आवाज़ को अलग क्लिप में जोड़ें।

• लाइन से पहले @handle मेंशन करें।
• सटीक शब्द उद्धरण चिह्नों में रखें।
• बोलने के अंदाज़ और कमरे का वर्णन करें।
• पहले अवधि चुनें, फिर शब्द उसके अनुसार रखें।

सबसे आसान तरीका कैरेक्टर वॉइस है। कैरेक्टर बनाते या एडिट करते समय Character Voice खोलें और MP3 या WAV अपलोड करें (आपके स्टार्ट टाइम से पहले 10 सेकंड रखे जाते हैं), या कैरेक्टर की इमेज से वैकल्पिक विवरण के साथ एक आवाज़ जेनरेट करें, जिसकी कीमत बटन पर Gems में दिखती है। इसके बाद, जब भी वह कैरेक्टर बोलता है, Cherry, Raspberry, Plum, Lemon और MiniMax-H3 उसी आवाज़ का इस्तेमाल करते हैं, जब तक आप Character Voices बंद न कर दें। कैरेक्टर सेव करने की जानकारी AI कैरेक्टर जनरेटर गाइड में है।

आप वीडियो प्रॉम्प्ट में सीधे ऑडियो रेफ़रेंस भी मेंशन कर सकते हैं। Cherry, Plum और MiniMax-H3 अधिकतम तीन, Lemon अधिकतम पाँच और Blueberry एक लेते हैं, और कैरेक्टर वॉइस भी इसी सीमा में गिनी जाती हैं। ऑडियो जोड़ने पर Cherry के लिए प्रॉम्प्ट में कम से कम एक इमेज चाहिए, जैसे कोई कैरेक्टर या रेफ़रेंस।

जिस लाइन को बिल्कुल सटीक होना है, उसे Seed Audio से क्लोन की गई आवाज़ में जेनरेट करें, फिर Lipsync को पोर्ट्रेट या सेव किए गए कैरेक्टर और उस ऑडियो के अधिकतम 15 सेकंड के साथ खोलें। पूरा तरीका AI टॉकिंग फ़ोटो गाइड में दिखाया गया है।

सिर्फ़ अपनी आवाज़ या ऐसी आवाज़ क्लोन करें जिसके इस्तेमाल की आपके पास स्पष्ट अनुमति हो। Mage पर किसी असली व्यक्ति की नकल उसकी सहमति के बिना करना मना है, और कम्युनिटी दिशानिर्देश दोस्तों, सेलिब्रिटी, सार्वजनिक हस्तियों या ब्रांड की नकल हानिकारक उद्देश्यों के लिए करने पर, और ऐसी किसी भी सामग्री पर रोक लगाते हैं जो आपके यहाँ गैरकानूनी है। अगर कोई आपसे अपनी विशेषता वाली क्रिएशन हटाने को कहे, तो उसे हटा दें।

अनुमति लिखित में लें, और उसे स्पष्ट रखें: किसकी आवाज़, वह क्या कहेगी, कहाँ दिखेगी, उपयोग व्यावसायिक है या नहीं और कितने समय के लिए। वॉइस आर्टिस्ट के अनुबंध में सिंथेटिक आवाज़ के उपयोग का साफ़ ज़िक्र होना चाहिए; सामान्य रिकॉर्डिंग रिलीज़ में अक्सर यह शामिल नहीं होता।

कानून भी इसी दिशा में है। अमेरिका में FCC ने फ़रवरी 2024 में फ़ैसला दिया कि रोबोकॉल कानून के तहत AI से बनी आवाज़ें "कृत्रिम" मानी जाती हैं, इसलिए सहमति के बिना रोबोकॉल में उनका इस्तेमाल गैरकानूनी है, और जुलाई 2024 से लागू टेनेसी का ELVIS Act किसी व्यक्ति की आवाज़ की नकल AI से बिना अनुमति करने पर रोक लगाता है। यह पेज कानूनी सलाह नहीं है; जहाँ आप प्रकाशित करते हैं वहाँ के नियम देखें।

वीडियो मॉडल के प्रोवाइडर ऑडियो की भी जाँच करते हैं। किसी क्लिप में कॉपीराइट वाला संगीत या किसी असली व्यक्ति की आवाज़ होने पर रन अस्वीकार किया जा सकता है, और अस्वीकार हुए रन का रिफ़ंड मिलता है।

• आपकी अपनी आवाज़: बेझिझक करें।
• किसी और की आवाज़: पहले लिखित अनुमति।
• सार्वजनिक हस्तियाँ और सेलिब्रिटी: लाइसेंस के बिना नहीं।
• धोखा देने के लिए कभी नहीं: कोई नकली कॉल, समर्थन या बयान नहीं।
• जहाँ प्लैटफ़ॉर्म कहे, वहाँ यथार्थ जैसी सिंथेटिक आवाज़ पर लेबल लगाएँ।

आवाज़ तब क्लोन करें जब वक्ता कोई खास व्यक्ति होना ज़रूरी हो: आप, सहमति देने वाला वॉइस आर्टिस्ट, या ऐसा कैरेक्टर जिसे आप पहले आवाज़ दे चुके हों। जब कोई भी अच्छी आवाज़ चल सकती हो, तो प्रीसेट आवाज़ें तेज़ हैं: AI टेक्स्ट टू स्पीच ElevenLabs की 16 आवाज़ों में से किसी एक में एक बार में 5,000 अक्षरों तक पढ़ता है, और AI वॉइस जनरेटर में ऑडियो टैग से रीडिंग को निर्देशित करने और प्रॉम्प्ट में नई आवाज़ का वर्णन करने की जानकारी है।

Mage पर Eleven Speech आवाज़ें क्लोन नहीं करता: वह सिर्फ़ अपनी प्रीसेट आवाज़ों में बोलता है। क्लोनिंग Seed Audio पर और उन वीडियो मॉडल पर चलती है जो ऑडियो रेफ़रेंस और कैरेक्टर वॉइस पढ़ते हैं। डेवलपर ये सब ऑडियो जनरेशन API से कर सकते हैं।