شبیه‌سازی صدا با هوش مصنوعی

شبیه‌سازی صدا یعنی تولید گفتار تازه با صدای یک فرد مشخص: با زیر و بمی، بافت، لهجه و شیوه ادای کلمات او. سیستم‌های قدیمی‌تر معمولاً به ضبط‌های طولانی استودیویی و یک مرحله آموزش نیاز داشتند. بسیاری از مدل‌های امروزی با یک کلیپ مرجع کوتاه کار می‌کنند: چند ثانیه از صدا را گوش می‌دهند و متن تازه را با صدایی هم‌شکل آن می‌گویند.

در Mage صدای کلون‌شده با یک رفرنس صوتی شروع می‌شود. یک فایل MP3 یا WAV آپلود می‌کنید، یک اثر ساخته‌شده یا صدای ذخیره‌شده را انتخاب می‌کنید یا لینک صوتی یا شبکه اجتماعی را پیست می‌کنید، نقطه شروع کلیپ را تعیین می‌کنید و Mage تا 15 ثانیه از آن را زیر یک @handle نگه می‌دارد. آن handle را در پرامپت Seed Audio بنویسید تا متن شما را با آن صدا و به‌صورت یک MP3 با همان طولی که تعیین کرده‌اید بگوید. مرحله آموزشی وجود ندارد: کلیپ هر بار که استفاده می‌کنید خوانده می‌شود.

همین صدا به ویدیو هم می‌رسد. یک کلیپ را به‌عنوان صدای یک شخصیت ذخیره کنید تا Cherry، Raspberry، Plum، Lemon و MiniMax-H3 هر بار که آن شخصیت حرف می‌زند از آن استفاده کنند؛ Cherry، Plum، Lemon، MiniMax-H3 و Blueberry در پرامپت ویدیو هم رفرنس صوتی می‌پذیرند. فقط صدای خودتان یا صدایی را کلون کنید که اجازه صریح استفاده از آن را دارید.

مدل همان چیزی را کپی می‌کند که می‌شنود، از جمله فضای اتاق را. کلیپی که در آشپزخانه‌ای پرپژواک ضبط شده باشد، با صدای آشپزخانه برمی‌گردد. در اتاقی کوچک و با وسایل نرم ضبط کن، یکی دو وجب از میکروفون فاصله بگیر و مطمئن شو زیر صدایت موسیقی، تلویزیون یا صدای دیگری نباشد. یک پیام صوتی گوشی در کمدی ساکت اغلب از میکروفون خوبِ یک اتاق خالی بهتر است.

همان‌طور حرف بزن که می‌خواهی صدا بعداً شنیده شود. خوانش آرام و یکنواخت به روایتی آرام تبدیل می‌شود و خوانش پرانرژی به صدایی پرانرژی. ده تا پانزده ثانیه صحبت پیوسته با چند جمله متفاوت کافی است تا مدل طیفی از آواها را بشنود. از مکث طولانی، سرفه و خنده پرهیز کن.

اگر بهترین بخش در یک ضبط طولانی‌تر است، کل فایل را آپلود کن و زمان شروع را روی قوی‌ترین 15 ثانیه بگذار. صدای شخصیت فقط 10 ثانیه نگه داشته می‌شود، پس برای شخصیت، 10 ثانیه‌ای را انتخاب کن که بیشتر شبیه او باشد.

• یک گوینده، اتاقی ساکت، بدون موسیقی.
• ده تا پانزده ثانیه صحبت پیوسته.
• با همان لحنی بخوان که می‌خواهی تحویل بگیری.
• با زمان شروع، بهترین قسمت را انتخاب کن.
• سطح صدا را ثابت نگه دار: بدون اعوجاج، بدون زمزمه.

در Seed Audio صدا را با @handle ذکر کن، کلمات دقیق را داخل گیومه بگذار و شیوه اجرا و فضا را توصیف کن: «@ana-voice، با لحنی گرم و بی‌عجله، نزدیک میکروفون در اتاقی ساکت، می‌گوید: …». handle رنگ و صدای اصلی را می‌آورد و توصیف، اجرا را شکل می‌دهد.

قبل از نوشتن، مدت را انتخاب کن. Seed Audio دقیقاً همان مدتی را که انتخاب می‌کنی برمی‌گرداند، یعنی 5، 10، 30، 60 یا 120 ثانیه، و برای تنظیم آن صدا را پر یا کوتاه می‌کند، پس متن را با آن هماهنگ کن. آدم‌ها با سرعت طبیعی دو تا سه کلمه در ثانیه حرف می‌زنند، یعنی یک جمله 10 ثانیه‌ای حدود 20 تا 30 کلمه است. سرعت گفتار، بلندی و زیر و بمی صدا تنظیمات جداگانه‌ای هستند که اگر خوانش کمی اصلاح لازم داشت می‌توانی از آن‌ها استفاده کنی.

هر اجرای Seed Audio یا تا سه مرجع صوتی می‌گیرد یا یک مرجع تصویری، نه هر دو. برای ساختن صدای یک صحنه از روی تصویر، آن را بدون صدای شبیه‌سازی‌شده اجرا کن و صدا را در کلیپی جداگانه اضافه کن.

• @handle را قبل از جمله ذکر کن.
• کلمات دقیق را داخل گیومه بگذار.
• شیوه اجرا و فضای اتاق را توصیف کن.
• اول مدت را انتخاب کن، بعد متن را با آن هماهنگ کن.

ساده‌ترین راه، صدای شخصیت است. وقتی شخصیتی می‌سازی یا ویرایش می‌کنی، Character Voice را باز کن و یک فایل MP3 یا WAV آپلود کن (10 ثانیه اول از زمان شروع نگه داشته می‌شود)، یا با یک توضیح اختیاری، صدایی را از روی تصویر شخصیت بساز که قیمتش روی دکمه به Gem نمایش داده می‌شود. از آن به بعد، Cherry، Raspberry، Plum، Lemon و MiniMax-H3 هر وقت آن شخصیت حرف بزند از همان صدا استفاده می‌کنند، مگر اینکه Character Voices را خاموش کنی. راهنمای سازنده شخصیت با هوش مصنوعی نحوه ذخیره شخصیت‌ها را توضیح می‌دهد.

می‌توانی مرجع صوتی را مستقیماً در پرامپت ویدیو هم ذکر کنی. Cherry، Plum و MiniMax-H3 تا سه مرجع می‌گیرند، Lemon تا پنج و Blueberry یکی، و صدای شخصیت‌ها هم در همین سقف حساب می‌شود. وقتی صدا اضافه می‌کنی، Cherry دست‌کم یک تصویر در پرامپت لازم دارد، مثلاً یک شخصیت یا یک مرجع.

برای جمله‌ای که باید دقیقاً همان باشد، آن را با Seed Audio به صدای شبیه‌سازی‌شده تولید کن، بعد Lipsync را با یک پرتره یا شخصیت ذخیره‌شده و حداکثر 15 ثانیه از همان صدا باز کن. راهنمای عکس سخنگو با هوش مصنوعی کل مراحل را نشان می‌دهد.

فقط صدای خودت یا صدایی را شبیه‌سازی کن که اجازه روشنی برای استفاده از آن داری. تقلید از یک فرد واقعی بدون رضایت او در Mage مجاز نیست و قوانین جامعه جعل هویت دوستان، افراد مشهور، چهره‌های عمومی یا برندها را برای اهداف مضر ممنوع کرده است، و همچنین هر محتوایی را که در محل زندگی‌ات غیرقانونی باشد. اگر کسی خواست خلقی را که او در آن حضور دارد حذف کنی، آن را حذف کن.

اجازه را کتبی بگیر و دقیق بگیر: صدای چه کسی، چه چیزی خواهد گفت، کجا منتشر می‌شود، آیا استفاده تجاری است و تا چه مدت. قرارداد یک صداپیشه باید صراحتاً به استفاده از صدای مصنوعی اشاره کند؛ رضایت‌نامه عمومی ضبط معمولاً آن را پوشش نمی‌دهد.

قانون هم در همین جهت است. در آمریکا، FCC در فوریه 2024 حکم داد که صداهای تولیدشده با هوش مصنوعی طبق قانون تماس‌های رباتیک «مصنوعی» حساب می‌شوند، پس استفاده از آن‌ها در تماس رباتیک بدون رضایت غیرقانونی است؛ و قانون ELVIS ایالت تنسی که از ژوئیه 2024 اجرایی شده، استفاده از هوش مصنوعی برای تقلید صدای یک فرد بدون اجازه او را ممنوع می‌کند. این صفحه مشاوره حقوقی نیست؛ قوانین محل انتشارت را بررسی کن.

ارائه‌دهندگان مدل‌های ویدیو صدا را هم بررسی می‌کنند. ممکن است اجرایی رد شود چون کلیپ شامل موسیقی دارای کپی‌رایت یا صدای یک فرد واقعی است، و برای اجرای ردشده بازپرداخت انجام می‌شود.

• صدای خودت: بی‌مشکل.
• صدای دیگران: اول اجازه کتبی.
• چهره‌های عمومی و افراد مشهور: بدون مجوز نه.
• هرگز برای فریب: بدون تماس، تأیید یا اظهارنظر جعلی.
• گفتار مصنوعی واقع‌گرایانه را هر جا پلتفرم خواست برچسب‌گذاری کن.

وقتی گوینده باید فرد مشخصی باشد، صدا را شبیه‌سازی کن: خودت، صداپیشه‌ای که موافقت کرده، یا شخصیتی که قبلاً برایش صدا ساخته‌ای. وقتی هر صدای خوبی کافی است، صداهای آماده سریع‌ترند: تبدیل متن به گفتار با هوش مصنوعی تا 5,000 نویسه را با یکی از 16 صدای ElevenLabs می‌خواند، و راهنمای تولید صدا با هوش مصنوعی نشان می‌دهد چطور با تگ‌های صوتی خوانش را هدایت کنی و در پرامپت یک صدای جدید را توصیف کنی.

Eleven Speech در Mage صدا را شبیه‌سازی نمی‌کند و فقط با صداهای آماده خودش حرف می‌زند. شبیه‌سازی روی Seed Audio و مدل‌های ویدیویی انجام می‌شود که مرجع صوتی و صدای شخصیت را می‌خوانند. همه این‌ها برای توسعه‌دهندگان در دسترس است، از طریق API تولید صدا.