Κλωνοποίηση φωνής με AI

Η κλωνοποίηση φωνής δημιουργεί νέο λόγο με τον ήχο μιας συγκεκριμένης φωνής: το ύψος της, την υφή της, την προφορά της και τον τρόπο που διαμορφώνει τις λέξεις. Τα παλαιότερα συστήματα συνήθως χρειάζονταν μεγάλες ηχογραφήσεις στούντιο και μια διαδικασία εκπαίδευσης. Πολλά σημερινά μοντέλα δουλεύουν από ένα σύντομο κλιπ αναφοράς: ακούν λίγα δευτερόλεπτα της φωνής και λένε νέο κείμενο με μια φωνή που της ταιριάζει.

Στο Mage, μια κλωνοποιημένη φωνή ξεκινά ως αναφορά ήχου. Ανεβάζεις ένα MP3 ή WAV, διαλέγεις μια δημιουργία ή έναν αποθηκευμένο ήχο, ή επικολλάς έναν σύνδεσμο ήχου ή κοινωνικού δικτύου, επιλέγεις πού ξεκινά το κλιπ, και το Mage κρατά έως 15 δευτερόλεπτα κάτω από ένα @handle. Ανέφερε αυτό το handle σε ένα prompt του Seed Audio και θα πει το κείμενό σου με αυτή τη φωνή, ως MP3 με ακριβώς τη διάρκεια που όρισες. Δεν υπάρχει βήμα εκπαίδευσης: το κλιπ διαβάζεται κάθε φορά που το χρησιμοποιείς.

Η ίδια φωνή περνά και στο βίντεο. Αποθήκευσε ένα κλιπ ως φωνή χαρακτήρα και τα Cherry, Raspberry, Plum, Lemon και MiniMax-H3 θα τη χρησιμοποιούν κάθε φορά που μιλά ο χαρακτήρας· τα Cherry, Plum, Lemon, MiniMax-H3 και Blueberry δέχονται επίσης αναφορές ήχου σε ένα prompt βίντεο. Κλωνοποίησε μόνο τη δική σου φωνή ή μια φωνή για την οποία έχεις σαφή άδεια χρήσης.

Το μοντέλο αντιγράφει ό,τι ακούει, μαζί με τον χώρο. Ένα κλιπ που ηχογραφήθηκε σε κουζίνα με αντήχηση θα ακούγεται σαν κουζίνα. Ηχογράφησε σε μικρό δωμάτιο με μαλακά υφάσματα και έπιπλα, σε απόσταση ενός-δύο παλαμών από το μικρόφωνο, χωρίς μουσική, τηλεόραση ή άλλες φωνές στο βάθος. Ένα φωνητικό σημείωμα από το κινητό μέσα σε ένα ήσυχο ντουλάπι συχνά κερδίζει ένα καλό μικρόφωνο σε άδειο δωμάτιο.

Μίλα με τον τρόπο που θέλεις να ακούγεται αργότερα η φωνή. Μια ήρεμη, ομαλή ανάγνωση κλωνοποιείται σε ήρεμη αφήγηση· μια ζωντανή ανάγνωση κλωνοποιείται σε ενέργεια. Χρησιμοποίησε δέκα με δεκαπέντε δευτερόλεπτα συνεχόμενης ομιλίας με μερικές διαφορετικές προτάσεις, ώστε το μοντέλο να ακούσει ποικιλία ήχων, και απόφυγε μεγάλες παύσεις, βήχα και γέλια.

Αν η καλύτερη λήψη σου βρίσκεται μέσα σε μεγαλύτερη ηχογράφηση, ανέβασε ολόκληρο το αρχείο και όρισε την ώρα έναρξης στα καλύτερα 15 δευτερόλεπτα. Η φωνή χαρακτήρα κρατά 10 δευτερόλεπτα, οπότε για έναν χαρακτήρα διάλεξε τα 10 δευτερόλεπτα που του ταιριάζουν περισσότερο.

• Ένας ομιλητής, ήσυχο δωμάτιο, χωρίς μουσική.
• Δέκα με δεκαπέντε δευτερόλεπτα συνεχόμενης ομιλίας.
• Διάβασε με τον τόνο που θέλεις να πάρεις πίσω.
• Χρησιμοποίησε την ώρα έναρξης για να διαλέξεις το καλύτερο σημείο.
• Κράτα σταθερή ένταση: χωρίς παραμόρφωση, χωρίς ψιθύρισμα.

Στο Seed Audio, ανέφερε τη φωνή με το @handle της, βάλε τις ακριβείς λέξεις σε εισαγωγικά και περιέγραψε την απόδοση και τον χώρο: "@ana-voice, ζεστά και χωρίς βιασύνη, κοντά στο μικρόφωνο σε ήσυχο δωμάτιο, λέει: …". Το handle φέρνει τον ήχο της φωνής· η περιγραφή διαμορφώνει την ερμηνεία.

Διάλεξε τη διάρκεια πριν γράψεις. Το Seed Audio επιστρέφει ακριβώς τη διάρκεια που επιλέγεις, 5, 10, 30, 60 ή 120 δευτερόλεπτα, προσθέτοντας ή κόβοντας ήχο ώστε να χωράει, οπότε προσάρμοσε τα λόγια σε αυτήν. Οι άνθρωποι μιλούν με δύο έως τρεις λέξεις το δευτερόλεπτο σε φυσικό ρυθμό, που σημαίνει 20 με 30 λέξεις για μια ατάκα 10 δευτερολέπτων. Ο ρυθμός ομιλίας, η ένταση και το ύψος τόνου είναι ξεχωριστές ρυθμίσεις για όταν η ανάγνωση χρειάζεται μια μικρή διόρθωση.

Μία εκτέλεση του Seed Audio δέχεται είτε έως τρεις αναφορές ήχου είτε μία αναφορά εικόνας, όχι και τα δύο. Για να μουσικοποιήσεις μια σκηνή από μια εικόνα, εκτέλεσέ το χωρίς τη φωνή και πρόσθεσε τη φωνή σε ξεχωριστό κλιπ.

• Ανέφερε το @handle πριν από την ατάκα.
• Βάλε τις ακριβείς λέξεις σε εισαγωγικά.
• Περιέγραψε την απόδοση και τον χώρο.
• Διάλεξε πρώτα τη διάρκεια και μετά προσάρμοσε τα λόγια.

Ο πιο απλός τρόπος είναι η φωνή χαρακτήρα. Όταν δημιουργείς ή επεξεργάζεσαι έναν χαρακτήρα, άνοιξε το Character Voice και ανέβασε ένα MP3 ή WAV (κρατιούνται τα πρώτα 10 δευτερόλεπτα από την ώρα έναρξης που όρισες), ή δημιούργησε μία από την εικόνα του χαρακτήρα με προαιρετική περιγραφή, με τιμή σε Gems στο κουμπί. Από εκεί και πέρα, τα Cherry, Raspberry, Plum, Lemon και MiniMax-H3 τη χρησιμοποιούν κάθε φορά που μιλά ο χαρακτήρας, εκτός αν απενεργοποιήσεις τις Character Voices. Ο οδηγός γεννήτρια χαρακτήρων AI καλύπτει την αποθήκευση χαρακτήρων.

Μπορείς επίσης να αναφέρεις μια αναφορά ήχου απευθείας στο prompt ενός βίντεο. Τα Cherry, Plum και MiniMax-H3 δέχονται έως τρεις, το Lemon έως πέντε και το Blueberry μία, και οι φωνές χαρακτήρων προσμετρώνται στο ίδιο όριο. Το Cherry χρειάζεται τουλάχιστον μία εικόνα στο prompt, όπως έναν χαρακτήρα ή μια αναφορά, όταν επισυνάπτεις ήχο.

Για μια ατάκα που πρέπει να είναι ακριβής, δημιούργησέ την με την κλωνοποιημένη φωνή στο Seed Audio και μετά άνοιξε το Lipsync με ένα πορτρέτο ή έναν αποθηκευμένο χαρακτήρα και έως 15 δευτερόλεπτα από αυτόν τον ήχο. Ο οδηγός φωτογραφία που μιλάει με AI δείχνει ολόκληρη τη ροή.

Κλωνοποίησε μόνο τη δική σου φωνή ή μια φωνή που έχεις σαφή άδεια να χρησιμοποιήσεις. Η μίμηση υπαρκτού προσώπου χωρίς τη συναίνεσή του δεν επιτρέπεται στο Mage, και οι οδηγίες κοινότητας απαγορεύουν την πλαστοπροσωπία φίλων, διασήμων, δημόσιων προσώπων ή brands για επιβλαβείς σκοπούς, καθώς και κάθε περιεχόμενο που είναι παράνομο εκεί όπου ζεις. Αν κάποιος σου ζητήσει να αφαιρέσεις μια δημιουργία στην οποία εμφανίζεται, αφαίρεσέ την.

Πάρε άδεια γραπτώς και κάν' την συγκεκριμένη: ποιανού η φωνή, τι θα λέει, πού θα εμφανίζεται, αν η χρήση είναι εμπορική και για πόσο διάστημα. Η συμφωνία με έναν φωνητικό ηθοποιό πρέπει να αναφέρει ρητά τη χρήση συνθετικής φωνής· μια γενική άδεια ηχογράφησης συχνά δεν τη καλύπτει.

Και ο νόμος πηγαίνει προς την ίδια κατεύθυνση. Στις ΗΠΑ, η FCC έκρινε τον Φεβρουάριο του 2024 ότι οι φωνές που παράγονται από AI θεωρούνται «τεχνητές» σύμφωνα με τον νόμο για τις αυτοματοποιημένες κλήσεις, οπότε η χρήση τους σε τέτοια κλήση χωρίς συναίνεση είναι παράνομη, ενώ ο νόμος ELVIS του Τενεσί, σε ισχύ από τον Ιούλιο του 2024, απαγορεύει τη χρήση AI για μίμηση της φωνής ενός προσώπου χωρίς άδεια. Αυτή η σελίδα δεν αποτελεί νομική συμβουλή· έλεγξε τους κανόνες του τόπου όπου δημοσιεύεις.

Και οι πάροχοι των μοντέλων βίντεο ελέγχουν τον ήχο. Μια εκτέλεση μπορεί να απορριφθεί επειδή ένα κλιπ περιέχει μουσική με δικαιώματα ή τη φωνή υπαρκτού προσώπου, και η απορριφθείσα εκτέλεση επιστρέφεται.

• Η δική σου φωνή: προχώρα.
• Φωνή άλλου ατόμου: πρώτα γραπτή άδεια.
• Δημόσια πρόσωπα και διάσημοι: όχι χωρίς άδεια χρήσης.
• Ποτέ για εξαπάτηση: όχι ψεύτικες κλήσεις, διαφημιστικές υποστηρίξεις ή δηλώσεις.
• Επισήμανε την ρεαλιστική συνθετική ομιλία όπου το ζητά μια πλατφόρμα.

Κλωνοποίησε μια φωνή όταν ο ομιλητής πρέπει να είναι κάποιος συγκεκριμένος: εσύ, ένας φωνητικός ηθοποιός που συμφώνησε, ή ένας χαρακτήρας που έχεις ήδη εκφωνήσει. Όταν κάθε καλή φωνή κάνει, οι έτοιμες φωνές είναι πιο γρήγορες: το AI κείμενο σε ομιλία διαβάζει έως 5.000 χαρακτήρες με μία από 16 φωνές ElevenLabs, και ο οδηγός γεννήτρια φωνής AI εξηγεί πώς να σκηνοθετείς μια ανάγνωση με audio tags και να περιγράφεις μια νέα φωνή σε ένα prompt.

Το Eleven Speech δεν κλωνοποιεί φωνές στο Mage: μιλά μόνο με τις έτοιμες φωνές του. Η κλωνοποίηση λειτουργεί με το Seed Audio και με τα μοντέλα βίντεο που διαβάζουν αναφορές ήχου και φωνές χαρακτήρων. Οι προγραμματιστές μπορούν να τα κάνουν όλα μέσω του API δημιουργίας ήχου.