Клонування голосу зі ШІ

Клонування голосу створює нове мовлення, що звучить як один конкретний голос: з його висотою, тембром, акцентом і манерою вимовляти слова. Раніші системи зазвичай потребували довгих студійних записів і окремого навчання. Багато сучасних моделей працюють із коротким еталонним записом: вони прослуховують кілька секунд голосу й озвучують новий текст схожим голосом.

У Mage клонований голос починається з аудіореференсу. Ви завантажуєте MP3 або WAV, вибираєте створений матеріал чи збережений звук або вставляєте посилання на аудіо чи соцмережу, обираєте, з якого моменту починається запис, і Mage зберігає до 15 секунд під @handle. Згадайте цей handle в промпті Seed Audio — і він озвучить ваш текст цим голосом у вигляді MP3 точно заданої тривалості. Етапу навчання немає: запис зчитується щоразу, коли ви його використовуєте.

Той самий голос працює й у відео. Збережіть запис як голос персонажа, і Cherry, Raspberry, Plum, Lemon та MiniMax-H3 використовуватимуть його щоразу, коли персонаж говорить; Cherry, Plum, Lemon, MiniMax-H3 і Blueberry також приймають аудіореференси у відеопромпті. Клонуйте лише власний голос або голос, який маєте чіткий дозвіл використовувати.

Модель копіює все, що чує, зокрема й приміщення. Запис на кухні з відлунням і звучатиме як на кухні. Записуй у невеликій кімнаті з м’якими меблями, на відстані однієї-двох долонь від мікрофона, без музики, телевізора чи інших голосів на фоні. Голосова нотатка на телефон у тихій гардеробній часто кращая за хороший мікрофон у порожній кімнаті.

Говори так, як хочеш, щоб голос звучав згодом. Спокійне рівне читання клонується в спокійну озвучку, а жваве — в енергійну. Візьми десять–п’ятнадцять секунд безперервної мови з кількома різними реченнями, щоб модель почула різні звуки, і уникай довгих пауз, кашлю та сміху.

Якщо найкращий дубль є частиною довшого запису, завантаж увесь файл і встанови час початку на найвдаліших 15 секунд. Для голосу персонажа зберігаються 10 секунд, тож вибери ті 10 секунд, що найбільше схожі на нього.

• Один мовець, тиха кімната, без музики.
• Десять–п’ятнадцять секунд безперервної мови.
• Читай у тоні, який хочеш отримати.
• Вибери найкращий фрагмент за допомогою часу початку.
• Тримай рівний рівень: без перевантаження та шепоту.

У Seed Audio згадай голос за його @handle, візьми точні слова в лапки й опиши подачу та простір: "@ana-voice, тепло й неквапливо, близько до мікрофона в тихій кімнаті, каже: …". Handle передає звучання голосу, а опис формує виконання.

Обери тривалість до того, як писати текст. Seed Audio повертає саме ту тривалість, яку ти вибрав: 5, 10, 30, 60 або 120 секунд, додаючи тишу чи обрізаючи, тож підлаштуй слова під неї. У природному темпі люди вимовляють два–три слова за секунду, тобто на 10-секундну репліку припадає 20–30 слів. Швидкість мовлення, гучність і висота тону — окремі налаштування, якщо читання треба підкоригувати.

Один запуск Seed Audio приймає або до трьох аудіореференсів, або один референс-зображення, але не разом. Щоб озвучити сцену за картинкою, запусти її без голосу, а голос додай окремим кліпом.

• Згадай @handle перед реплікою.
• Бери точні слова в лапки.
• Опиши подачу та приміщення.
• Спершу обери тривалість, потім підганяй слова.

Найпростіший шлях — голос персонажа. Коли створюєш або редагуєш персонажа, відкрий «Голос персонажа» й завантаж MP3 або WAV (зберігаються перші 10 секунд від часу початку) чи згенеруй голос за зображенням персонажа з необов’язковим описом; вартість у Gems указана на кнопці. Відтоді Cherry, Raspberry, Plum, Lemon і MiniMax-H3 використовують його щоразу, коли персонаж говорить, доки ти не вимкнеш голоси персонажів. У посібнику генератор ШІ-персонажів розповідається, як зберігати персонажів.

Ще можна згадати аудіореференс прямо в промпті для відео. Cherry, Plum і MiniMax-H3 приймають до трьох, Lemon — до п’яти, а Blueberry — один; голоси персонажів входять в той самий ліміт. Cherry потребує щонайменше одного зображення в промпті, наприклад персонажа чи референсу, коли ти додаєш аудіо.

Якщо репліка має бути точною, згенеруй її клонованим голосом у Seed Audio, а потім відкрий Lipsync з портретом або збереженим персонажем і до 15 секунд цього аудіо. Увесь процес показано в посібнику ШІ-фото, що розмовляє.

Клонуй лише власний голос або голос, який тобі чітко дозволили використовувати. Імітувати реальну людину без її згоди на Mage заборонено, а правила спільноти забороняють видавати себе за друзів, знаменитостей, публічних осіб чи бренди зі шкідливою метою, а також будь-який контент, що є незаконним там, де ти живеш. Якщо хтось просить видалити твій твір із ним, видали його.

Отримуй дозвіл письмово й зазначай конкретно: чий голос, що він говоритиме, де з’явиться, чи є використання комерційним і як довго. У договорі з диктором має прямо йтися про використання синтетичного голосу; загальна згода на запис зазвичай цього не охоплює.

Закон іде в тому ж напрямку. У США FCC у лютому 2024 року постановила, що голоси, створені ШІ, вважаються «штучними» за законом про рободзвінки, тож їх використання в рободзвінку без згоди незаконне, а закон Теннессі ELVIS Act, що діє з липня 2024 року, забороняє використовувати ШІ для імітації голосу людини без дозволу. Ця сторінка не є юридичною порадою; перевір правила там, де публікуєш.

Провайдери відеомоделей також перевіряють аудіо. Запуск можуть відхилити, якщо кліп містить музику, захищену авторським правом, або голос реальної людини; за відхилений запуск кошти повертаються.

• Твій власний голос: можна.
• Чужий голос: спершу письмовий дозвіл.
• Публічні особи та знаменитості: не без ліцензії.
• Ніколи не для обману: жодних фальшивих дзвінків, реклами чи заяв.
• Позначай реалістичне синтетичне мовлення там, де цього вимагає платформа.

Клонуй голос, коли мовцем має бути конкретна людина: ти, диктор, який на це погодився, або персонаж, якого ти вже озвучив. Якщо підійде будь-який гарний голос, готові голоси швидші: ШІ-озвучення тексту читає до 5000 символів одним із 16 голосів ElevenLabs, а генератор ШІ-голосу розповідає, як керувати читанням за допомогою аудіотегів і описувати новий голос у промпті.

Eleven Speech на Mage не клонує голоси: він говорить лише готовими голосами. Клонування працює в Seed Audio та у відеомоделях, які читають аудіореференси й голоси персонажів. Розробники можуть робити все це через API для генерації аудіо.