Клонирование голоса нейросетью

Клонирование голоса создаёт новую речь в звучании конкретного голоса: с его высотой, тембром, акцентом и манерой произносить слова. Прежние системы обычно требовали длинных студийных записей и отдельного обучения. Многие современные модели работают по короткому образцу: они слушают несколько секунд голоса и произносят новый текст похожим голосом.

В Mage клонированный голос начинается с аудиореференса. Вы загружаете MP3 или WAV, выбираете готовую работу или сохранённый звук либо вставляете ссылку на аудио или соцсеть, указываете, с какого места начинается фрагмент, и Mage сохраняет до 15 секунд под @handle. Упомяните этот handle в промпте Seed Audio — и он произнесёт ваш текст этим голосом в виде MP3 точно заданной длины. Этапа обучения нет: запись считывается заново при каждом использовании.

Тот же голос работает и в видео. Сохраните запись как голос персонажа, и Cherry, Raspberry, Plum, Lemon и MiniMax-H3 будут использовать его, когда персонаж говорит; Cherry, Plum, Lemon, MiniMax-H3 и Blueberry также принимают аудиореференсы в видеопромпте. Клонируйте только свой голос или голос, на использование которого у вас есть чёткое разрешение.

Модель копирует всё, что слышит, включая помещение. Запись на кухне с эхом и звучать будет как на кухне. Записывайтесь в небольшой комнате с мягкой мебелью, в одной-двух ладонях от микрофона, без музыки, телевизора и других голосов на фоне. Голосовая заметка на телефон в тихом шкафу часто получается лучше, чем хороший микрофон в пустой комнате.

Говорите так, как хотите, чтобы голос звучал потом. Спокойное ровное чтение превратится в спокойную озвучку, а живое и выразительное — в энергичную. Нужно десять–пятнадцать секунд непрерывной речи из нескольких разных предложений, чтобы модель услышала разные звуки. Избегайте долгих пауз, кашля и смеха.

Если лучший дубль находится внутри более длинной записи, загрузите весь файл и задайте время начала на самых удачных 15 секундах. У голоса персонажа сохраняются 10 секунд, поэтому для персонажа выберите 10 секунд, которые больше всего на него похожи.

• Один говорящий, тихая комната, без музыки.
• Десять–пятнадцать секунд непрерывной речи.
• Читайте в той интонации, которую хотите получить.
• Выберите лучший отрезок с помощью времени начала.
• Держите ровную громкость: без перегруза и без шёпота.

В Seed Audio упомяните голос по его @handle, возьмите точный текст в кавычки и опишите подачу и пространство: «@ana-voice, тепло и неторопливо, близко к микрофону в тихой комнате, говорит: …». Хендл передаёт звучание голоса, а описание формирует исполнение.

Выберите длительность до того, как писать текст. Seed Audio возвращает ровно ту длительность, которую вы выбрали: 5, 10, 30, 60 или 120 секунд, добавляя тишину или обрезая лишнее, поэтому подгоните под неё слова. В естественном темпе люди произносят два–три слова в секунду, то есть на 10 секунд приходится от 20 до 30 слов. Скорость речи, громкость и высота голоса — отдельные настройки, если чтение нужно подправить.

За один запуск Seed Audio принимает либо до трёх аудиореференсов, либо одно изображение, но не то и другое сразу. Чтобы озвучить сцену по картинке, запустите генерацию без голоса, а голос добавьте отдельным клипом.

• Упоминайте @handle перед репликой.
• Берите точный текст в кавычки.
• Опишите подачу и помещение.
• Сначала выберите длительность, потом подгоняйте текст.

Проще всего использовать голос персонажа. Когда вы создаёте или редактируете персонажа, откройте «Голос персонажа» и загрузите MP3 или WAV (сохраняются первые 10 секунд от выбранного времени начала) либо сгенерируйте голос по изображению персонажа с необязательным описанием — стоимость в Gems указана на кнопке. После этого Cherry, Raspberry, Plum, Lemon и MiniMax-H3 будут использовать его каждый раз, когда говорит этот персонаж, если вы не отключите голоса персонажей. О сохранении персонажей рассказано в руководстве «Нейросеть для создания персонажей».

Аудиореференс можно также упомянуть прямо в промпте для видео. Cherry, Plum и MiniMax-H3 принимают до трёх, Lemon — до пяти, Blueberry — один, причём голоса персонажей входят в тот же лимит. Если вы прикрепляете аудио, Cherry требуется хотя бы одно изображение в промпте, например персонаж или референс.

Если реплика должна прозвучать дословно, создайте её клонированным голосом в Seed Audio, а затем откройте Lipsync с портретом или сохранённым персонажем и добавьте до 15 секунд этого аудио. Весь процесс показан в руководстве «Говорящее фото с помощью нейросети».

Клонируйте только собственный голос или голос, на использование которого у вас есть чёткое разрешение. Имитировать реального человека без его согласия на Mage запрещено, а правила сообщества запрещают выдавать себя за друзей, знаменитостей, публичных людей или бренды во вред, а также создавать любой контент, который незаконен там, где вы живёте. Если кто-то просит удалить работу, в которой он появляется, удалите её.

Получите разрешение в письменном виде и сделайте его конкретным: чей голос, что он будет говорить, где появится запись, коммерческое ли это использование и на какой срок. В договоре с актёром озвучки синтетический голос должен быть назван прямо: общее согласие на запись его, как правило, не покрывает.

Закон движется в том же направлении. В США в феврале 2024 года FCC постановила, что голоса, созданные ИИ, считаются «искусственными» по закону о робозвонках, поэтому использовать такой голос в робозвонке без согласия незаконно, а закон штата Теннесси ELVIS Act, действующий с июля 2024 года, запрещает использовать ИИ для имитации голоса человека без разрешения. Эта страница не является юридической консультацией: изучите правила там, где вы публикуете материалы.

Провайдеры видеомоделей тоже проверяют аудио. Запуск могут отклонить, если в клипе есть музыка, защищённая авторским правом, или голос реального человека. За отклонённый запуск средства возвращаются.

• Ваш собственный голос: можно.
• Чужой голос: сначала письменное разрешение.
• Публичные люди и знаменитости: только по лицензии.
• Никогда не для обмана: никаких фальшивых звонков, рекомендаций и заявлений.
• Помечайте реалистичную синтетическую речь там, где этого требует платформа.

Клонируйте голос, когда говорить должен конкретный человек: вы, актёр озвучки, давший согласие, или персонаж, которого вы уже озвучили. Если подойдёт любой хороший голос, быстрее воспользоваться готовыми: «Озвучка текста нейросетью» читает до 5000 символов одним из 16 голосов ElevenLabs, а в руководстве «Нейросеть для генерации голоса» рассказано, как управлять подачей с помощью аудиотегов и описывать новый голос в промпте.

Eleven Speech не клонирует голоса на Mage: он говорит только готовыми голосами. Клонирование работает в Seed Audio и в видеомоделях, которые принимают аудиореференсы и голоса персонажей. Разработчики могут сделать всё это через API для генерации аудио.