Нейросеть для озвучки текста

Генератор голоса на основе нейросети превращает написанный текст в озвучку. Вы вводите, что нужно сказать, и описываете, как это должно звучать: возраст, акцент, темп, эмоции — а модель исполняет текст. В результате получается аудиофайл, который можно добавить в видео, игру, заставку подкаста или презентацию.

В Mage голосовая модель называется Seed Audio. Она создаёт голоса, диалоги, музыку и звуковые эффекты по одному промпту и возвращает MP3 строго нужной длины: 5, 10, 30, 60 или 120 секунд. Для управления звучанием можно добавить один референс-изображение или до трёх аудиореференсов, но не то и другое в одном клипе.

Главное преимущество Mage — то, что происходит дальше. Сохранённому персонажу можно назначить голос, а видеомодели, которые умеют использовать голоса персонажей (Cherry, Raspberry, Plum, Lemon и MiniMax-H3), применяют его автоматически, поэтому созданный вами герой звучит одинаково в каждом клипе. А в приложении Lipsync можно взять созданную реплику и синхронизировать с ней лицо.

Промпт для голоса состоит из двух частей: что говорится и как это звучит. Заключите произносимые слова в кавычки, чтобы они чётко читались как сценарий, а исполнение опишите вокруг них. Например, «Тёплый, хрипловатый мужчина за семьдесят, неспешный и слегка насмешливый, говорит близко к микрофону в тихой комнате: „Каждая история начинается с того, кому следовало остаться дома“» — так Seed Audio получает и говорящего, и манеру подачи, и пространство.

Сильнее всего на голос влияют возраст, энергия, темп и расстояние. Шёпот у микрофона, сценический голос в большом зале и усталый голос в телефонной трубке — это три разных исполнения одних и тех же слов. Эмоцию лучше обозначать глаголом, например «дразнит», «умоляет» или «объявляет», а не одним лишь прилагательным.

• Точные слова заключайте в кавычки
• Указывайте возрастной диапазон и уровень энергии
• Называйте темп: неспешный, быстрый, прерывистый
• Описывайте место: студия, улица, собор, телефон
• Для пробы голоса перед длинным текстом возьмите реплику на 5 или 10 секунд

Seed Audio возвращает ровно ту длительность, которую вы выбрали, поэтому подбирайте её под сценарий. Одна реплика или реакция уместится в 5 или 10 секунд. Короткая озвучка или рекламный текст о продукте — в 30. Диалоговая сцена или закадровый текст — в 60 или 120. Если текст слишком длинный для клипа, его произнесут второпях; если слишком короткий — в конце останется тишина или фоновый шум помещения.

Заранее продумайте, куда пойдёт аудио. Lipsync и Music Video принимают аудио длительностью до 15 секунд, поэтому для говорящего портрета напишите реплику, которая уместится в 10 секунд, и генерируйте именно такую длину.

У персонажа в Mage может быть голос: загрузите MP3 или WAV либо сгенерируйте короткий образец в Seed Audio при создании персонажа. После этого Cherry, Raspberry, Plum, Lemon и MiniMax-H3 автоматически используют этот голос, когда персонаж говорит. Подробнее о персонажах — в разделе генератор ИИ-персонажей, а в руководстве говорящее фото с ИИ показано, как заставить портрет произнести реплику.

Используйте аудиореференсы только со своим голосом или с голосом, который вам разрешили использовать. Имитировать реального человека без его согласия в Mage запрещено.