Klonowanie głosu AI

Klonowanie głosu tworzy nową mowę brzmiącą jak konkretny głos: z jego wysokością, barwą, akcentem i sposobem kształtowania słów. Wcześniejsze systemy zwykle wymagały długich nagrań studyjnych i procesu trenowania. Wiele obecnych modeli działa na podstawie krótkiego nagrania referencyjnego: słuchają kilku sekund głosu i wypowiadają nowy tekst pasującym do niego głosem.

W Mage sklonowany głos zaczyna się od referencji audio. Przesyłasz plik MP3 lub WAV, wybierasz utwór ze swoich prac lub zapisany dźwięk albo wklejasz link do audio lub z mediów społecznościowych, wybierasz początek fragmentu, a Mage zachowuje do 15 sekund pod @handle. Wywołaj ten handle w prompcie Seed Audio, a tekst zostanie wypowiedziany tym głosem jako MP3 dokładnie o ustawionej długości. Nie ma etapu trenowania: nagranie jest odczytywane przy każdym użyciu.

Ten sam głos działa też w wideo. Zapisz nagranie jako głos postaci, a Cherry, Raspberry, Plum, Lemon i MiniMax-H3 użyją go za każdym razem, gdy ta postać się odezwie; Cherry, Plum, Lemon, MiniMax-H3 i Blueberry przyjmują też referencje audio w prompcie wideo. Klonuj tylko własny głos lub głos, do którego masz wyraźną zgodę.

Model kopiuje to, co słyszy, razem z pomieszczeniem. Nagranie z kuchni z pogłosem wróci brzmiące jak kuchnia. Nagrywaj w małym pokoju z miękkimi meblami, w odległości dłoni lub dwóch od mikrofonu, bez muzyki, telewizora i innych głosów w tle. Notatka głosowa z telefonu w cichej szafie często wygrywa z dobrym mikrofonem w pustym pokoju.

Mów tak, jak chcesz, żeby głos brzmiał później. Spokojne, równe czytanie sklonuje się w spokojną narrację, a żywe — w energię. Użyj dziesięciu do piętnastu sekund ciągłej mowy z kilkoma różnymi zdaniami, żeby model usłyszał różne dźwięki, i unikaj długich pauz, kaszlu i śmiechu.

Jeśli najlepszy fragment jest w dłuższym nagraniu, wgraj cały plik i ustaw czas startu na najmocniejsze 15 sekund. Głos postaci zachowuje 10 sekund, więc w przypadku postaci wybierz te 10 sekund, które brzmią najbardziej jak ona.

• Jeden mówca, cichy pokój, bez muzyki.
• Dziesięć do piętnastu sekund ciągłej mowy.
• Czytaj w tonie, jaki chcesz uzyskać.
• Użyj czasu startu, by wybrać najlepszy fragment.
• Trzymaj równy poziom głośności: bez przesterowań i szeptu.

W Seed Audio wspomnij głos przez jego @handle, wpisz dokładne słowa w cudzysłowie i opisz sposób mówienia oraz przestrzeń: "@ana-voice, ciepło i bez pośpiechu, blisko mikrofonu w cichym pokoju, mówi: …". Handle przynosi brzmienie głosu, a opis kształtuje wykonanie.

Wybierz długość, zanim zaczniesz pisać. Seed Audio zwraca dokładnie tyle, ile wybierzesz: 5, 10, 30, 60 lub 120 sekund, w razie potrzeby dopełniając lub przycinając, więc dopasuj do tego tekst. W naturalnym tempie ludzie mówią dwa do trzech słów na sekundę, czyli 10-sekundowa kwestia to 20–30 słów. Tempo mowy, głośność i wysokość głosu to osobne ustawienia, gdy trzeba poprawić wykonanie.

Jedno uruchomienie Seed Audio przyjmuje albo do trzech referencji audio, albo jedną referencję obrazu, ale nie obie naraz. Aby podłożyć dźwięk pod scenę z obrazu, uruchom ją bez głosu, a głos dodaj w osobnym klipie.

• Wspomnij @handle przed kwestią.
• Wpisz dokładne słowa w cudzysłowie.
• Opisz sposób mówienia i pomieszczenie.
• Najpierw wybierz czas trwania, potem dopasuj tekst.

Najprostsza droga to głos postaci. Gdy tworzysz lub edytujesz postać, otwórz Głos postaci i wgraj plik MP3 lub WAV (zachowane zostanie pierwszych 10 sekund od czasu startu) albo wygeneruj głos na podstawie obrazu postaci z opcjonalnym opisem — cena w Gems jest na przycisku. Od tej pory Cherry, Raspberry, Plum, Lemon i MiniMax-H3 używają go, gdy ta postać mówi, chyba że wyłączysz Głosy postaci. Zapisywanie postaci opisuje poradnik Generator postaci AI.

Możesz też wspomnieć referencję audio bezpośrednio w prompcie wideo. Cherry, Plum i MiniMax-H3 przyjmują do trzech, Lemon do pięciu, a Blueberry jedną, przy czym głosy postaci wliczają się do tego samego limitu. Cherry wymaga co najmniej jednego obrazu w prompcie, np. postaci lub referencji, gdy dołączasz audio.

Jeśli kwestia musi być dokładna, wygeneruj ją sklonowanym głosem w Seed Audio, a potem otwórz Lipsync z portretem lub zapisaną postacią i do 15 sekund tego nagrania. Cały proces pokazuje poradnik Mówiące zdjęcie AI.

Klonuj tylko własny głos albo głos, do którego użycia masz wyraźną zgodę. Naśladowanie prawdziwej osoby bez jej zgody jest w Mage zabronione, a zasady społeczności zakazują podszywania się pod znajomych, celebrytów, osoby publiczne lub marki w szkodliwych celach oraz treści niezgodnych z prawem tam, gdzie mieszkasz. Jeśli ktoś poprosi cię o usunięcie pracy z jego udziałem, usuń ją.

Uzyskaj zgodę na piśmie i określ ją konkretnie: czyj to głos, co będzie mówił, gdzie się pojawi, czy użycie jest komercyjne i na jak długo. Umowa z lektorem powinna wprost wymieniać użycie głosu syntetycznego; ogólna zgoda na nagrywanie często go nie obejmuje.

Prawo idzie w tym samym kierunku. W USA FCC uznała w lutym 2024 r., że głosy generowane przez AI są "sztuczne" w rozumieniu przepisów o robocallach, więc użycie takiego głosu w automatycznym połączeniu bez zgody jest nielegalne, a tennessee’ski ELVIS Act, obowiązujący od lipca 2024 r., zakazuje używania AI do naśladowania czyjegoś głosu bez pozwolenia. Ta strona nie jest poradą prawną; sprawdź przepisy tam, gdzie publikujesz.

Dostawcy modeli wideo również sprawdzają audio. Uruchomienie może zostać odrzucone, jeśli klip zawiera muzykę chronioną prawem autorskim lub głos prawdziwej osoby, a za odrzucone uruchomienie dostajesz zwrot.

• Twój własny głos: śmiało.
• Cudzy głos: najpierw pisemna zgoda.
• Osoby publiczne i celebryci: nie bez licencji.
• Nigdy w celu oszustwa: żadnych fałszywych rozmów, poparć ani wypowiedzi.
• Oznaczaj realistyczną mowę syntetyczną tam, gdzie wymaga tego platforma.

Klonuj głos, gdy mówcą ma być ktoś konkretny: ty, lektor, który się na to zgodził, albo postać, której już nadałeś głos. Gdy wystarczy dowolny dobry głos, szybsze są gotowe głosy: zamiana tekstu na mowę AI czyta do 5000 znaków jednym z 16 głosów ElevenLabs, a generator głosu AI pokazuje, jak reżyserować czytanie tagami audio i opisywać nowy głos w prompcie.

Eleven Speech nie klonuje głosów w Mage: mówi wyłącznie gotowymi głosami. Klonowanie działa w Seed Audio oraz w modelach wideo, które czytają referencje audio i głosy postaci. Deweloperzy zrobią to wszystko przez API do generowania audio.