مترجم ویدیو با هوش مصنوعی

مترجم ویدیو با هوش مصنوعی ویدیویی را به یک زبان می‌گیرد و آن را به زبان دیگری تحویل می‌دهد: ترجمه‌ی متن، یک صدای جدید به زبان مقصد و در حالت ایده‌آل گوینده‌ای که لب‌هایش با کلمات جدید هماهنگ است. سرویس‌های دوبلاژ کامل همه‌ی این کارها را با یک بار آپلود انجام می‌دهند. Mage صدا و لب را با ابزارهای جداگانه‌ای انجام می‌دهد که کنترلشان دست شماست؛ این روش برای کلیپ‌های کوتاه مثل تبلیغ، معرفی و ویدیوهای شخصیت‌محور مناسب‌تر از ضبط‌های ساعتی است.

تقسیم کار این‌طور است: Mage ویدیوی شما را پیاده‌سازی یا خودکار ترجمه نمی‌کند و زیرنویس هم اضافه نمی‌کند. متن را به زبان جدید خودتان، یک مترجم یا دستیار هوش مصنوعی‌تان می‌نویسد. بعد Eleven Speech آن را به بیش از ۹۰ زبان می‌خواند و Lipsync یک تصویر ثابت از گوینده، یعنی یک فریم واضح از ویدیوی شما یا یک شخصیت ذخیره‌شده، را متحرک می‌کند تا لب‌هایش صدای جدید را دنبال کنند؛ تا ۱۵ ثانیه برای هر کلیپ.

نتیجه یک کلیپ گویای جدید است که از همان فریم ساخته می‌شود، نه فیلم اصلی شما با دهانی جایگزین‌شده؛ بنابراین حرکات گوینده و حرکت‌های دوربین ویدیوی اصلی حفظ نمی‌شود. برای روایتی که گوینده‌ی قابل‌مشاهده ندارد اصلاً به هماهنگی لب نیاز نیست: کافی است صدای جدید را در ویرایشگرتان روی تصویر اصلی بگذارید. برای متن داخل تصاویر تبلیغاتی، مهارت Ad Localizer آن را همان‌جا جایگزین می‌کند.

خودکار در Mage: Eleven Speech متن نوشته‌شده را به گفتار به همان زبانی که نوشته‌اید تبدیل می‌کند و ریتم و احساس آن را می‌توانید با تگ‌هایی مثل [whispers] یا [laughs] هدایت کنید. Lipsync از یک تصویر و حداکثر ۱۵ ثانیه صدا ویدیویی از سوژه‌ای می‌سازد که آن را می‌گوید، با حالت‌های طبیعی چهره و حرکت ظریف سر. مهارت Ad Localizer در دستیار شما متن یک تبلیغ ثابت را پیاده می‌کند، از دستیارتان می‌خواهد آن را ترجمه کند و پس از تأیید شما، هر خط را با همان فونت، اندازه و جایگاه جایگزین می‌کند.

غیرخودکار: پیاده‌سازی گفتار اصلی، ترجمه‌ی دیالوگ‌های گفتاری، هماهنگ کردن زمان‌بندی جمله‌ی جدید با نسخه‌ی اصلی، حفظ صدای خود گوینده‌ی اصلی، جدا کردن موسیقی پس‌زمینه از صدا و زیرنویس. Mage تبدیل گفتار به متن، دوبلاژ خودکار یا ابزار زیرنویس ندارد. Lipsync هم از روی یک تصویر ثابت کلیپ جدید می‌سازد، پس حرکت، برش‌ها یا افراد دیگر موجود در نمای فیلم اصلی حفظ نمی‌شوند.

• خودکار: صدا از روی متن شما، به بیش از ۹۰ زبان.
• خودکار: لب‌های هماهنگ با صدای جدید، از روی یک تصویر.
• خودکار: جایگزینی متن روی تصویر تبلیغ پس از تأیید شما.
• با شما: متن پیاده‌شده، ترجمه و بازبینی نهایی.
• در دسترس نیست: زیرنویس یا لب جدید روی فیلم اصلی.

متن دوبله فایل زیرنویس نیست. باید تقریباً در همان مدتی که نسخه‌ی اصلی طول کشیده گفته شود، پس هم‌زمان برای معنا و طول ترجمه کنید. آلمانی و فرانسوی اغلب از انگلیسی طولانی‌ترند و ژاپنی و چینی اغلب کوتاه‌تر؛ به‌جای تند کردن صدا، جمله را کوتاه کنید. نام برند و محصول را همان‌طور که هست نگه دارید و عددها، تاریخ‌ها و قیمت‌ها را همان‌طور بگویید که یک گویشور محلی می‌گوید.

اگر در Claude، ChatGPT یا دستیار دیگری کار می‌کنید که به Mage متصل است، دستیار می‌تواند ترجمه را پیش‌نویس کند و پیش از تولید صدا، خط‌به‌خط نشانتان بدهد. این ترجمه کار دستیار است و قابلیتی از Mage نیست؛ پس اگر برای مشتری‌ها نمایش داده می‌شود، حتماً یک فارسی‌زبان یا یک گویشور بومی آن را بخواند. بعد متن را در مکث‌های طبیعی به تکه‌هایی ۱۵ ثانیه‌ای یا کوتاه‌تر تقسیم کنید، یعنی به اندازهٔ یک کلیپ Lipsync.

برای بیشتر ترجمه‌ها از Eleven Speech استفاده کنید. یکی از ۱۶ صدای آن را که به سن و انرژی گوینده می‌خورد انتخاب کنید، متن را به زبان مقصد بنویسید و با تگ‌های صوتی داخل کروشه، لحن خواندن را مشخص کنید. فایل MP3 دقیقاً به اندازهٔ متن است و هر درخواست تا ۵٬۰۰۰ نویسه را پوشش می‌دهد، پس سکوتی برای حذف کردن نمی‌ماند. راهنمای تبدیل متن به گفتار با هوش مصنوعی دربارهٔ صداها و تگ‌ها با جزئیات توضیح می‌دهد.

Eleven Speech فقط با صداهای از پیش تعیین‌شدهٔ خودش حرف می‌زند. وقتی می‌خواهید صدای جدید شبیه گوینده اصلی باشد، Seed Audio می‌تواند با حداکثر سه نمونهٔ صوتی مرجع صدا را هدایت کند؛ فقط از ضبط‌هایی استفاده کنید که اجازهٔ استفاده از آن صدا را دارید. خروجی آن در طول‌های ثابت ۵، ۱۰، ۳۰، ۶۰ یا ۱۲۰ ثانیه ساخته می‌شود؛ پس قبل از اجرای متن کامل، زمان‌بندی و زبان را روی یک جملهٔ کوتاه بررسی کنید. راهنمای شبیه‌سازی صدا با هوش مصنوعی دربارهٔ هماهنگ کردن صدا با جزئیات بیشتر توضیح می‌دهد.

شبیه‌سازی صدای خودتان برای دوبله کار رایجی است؛ برای نمونه YouTube آن را جزو کاربردهای هوش مصنوعی می‌داند که نیازی به اعلام تغییر محتوا ندارند. شبیه‌سازی صدای دیگران موضوع متفاوتی است و Mage تقلید از یک فرد واقعی را بدون رضایت او مجاز نمی‌داند.

وقتی فردی رو به دوربین صحبت می‌کند، واضح‌ترین فریم روبه‌رو از او را از ویدیو بردارید، طوری که دهان دیده شود و بسته یا آرام باشد، و آن را به‌عنوان سوژه در Lipsync به کار ببرید. صدای ترجمه‌شده را تا ۱۵ ثانیه اضافه کنید و یک مدل انتخاب کنید: Plum پیش‌فرض است و Blueberry 2 همان تصویری را که می‌دهید متحرک می‌کند و ظاهر فریم اصلی را حفظ می‌کند. هر کلیپ یک اجرای تازه از همان تصویر ثابت است و دوربین روی گوینده ثابت می‌ماند.

اگر گوینده در یک مجموعه ظاهر می‌شود، او را به‌عنوان یک شخصیت ذخیره کنید تا چهره در همهٔ زبان‌ها یکسان بماند. بعد کلیپ‌ها را در Storyboard پشت هم بچینید؛ تا شش کلیپ را با صدایشان در یک MP4 به هم وصل می‌کند. راهنمای عکس گویا با هوش مصنوعی دربارهٔ انتخاب فریمی که خوب متحرک می‌شود توضیح می‌دهد.

وقتی کسی جلوی دوربین صحبت نمی‌کند، مثل ویدیوی توضیحی با گوینده، دموی محصول یا ضبط صفحه، از همگام‌سازی لب صرف‌نظر کنید. روایت جدید را تولید کنید و صدای ویدیو را در ویرایشگر خودتان جایگزین کنید. Mage صدای جدید را به‌طور خودکار در ویدیوی موجود ترکیب نمی‌کند.

• فریمی روبه‌رو انتخاب کنید که دهان در آن دیده شود.
• هر تکه صدا را ۱۵ ثانیه یا کمتر نگه دارید.
• گوینده‌ای را که چند بار ظاهر می‌شود به‌عنوان شخصیت ذخیره کنید.
• اگر کسی جلوی دوربین نیست، صدا را در ویرایشگر جایگزین کنید.

تبلیغات ثابت پیامشان را در متن می‌رسانند: تیتر، دکمه، پیشنهاد. مهارت Ad Localizer این موارد را در دستیار شما انجام می‌دهد. همهٔ خطوط را استخراج می‌کند، بر اساس معنا و لحن ترجمه می‌کند، شکست خطوط، قالب اعداد و چیدمان راست‌به‌چپ را تنظیم می‌کند و متن را برای تأیید به شما نشان می‌دهد. بعد هر خط را با GPT Image 2.5 Flare در تصویر جایگزین می‌کند و سبک فونت، چیدمان، محصول و لوگو را حفظ می‌کند؛ نام برند و متن روی بسته‌بندی را هم دست‌نخورده می‌گذارد. صداگذاری ویدیوها را ترجمه نمی‌کند. آن را در صفحهٔ مهارت‌های Mage پیدا کنید و برای بقیهٔ مراحل کار تبلیغ، تولید تبلیغ با هوش مصنوعی را ببینید.