Γεννήτρια φωνής με AI

Μια γεννήτρια φωνής με τεχνητή νοημοσύνη μετατρέπει το γραπτό κείμενο σε ομιλία. Πληκτρολογείς τι πρέπει να ειπωθεί και περιγράφεις πώς πρέπει να ακούγεται, όπως την ηλικία, την προφορά, τον ρυθμό και το συναίσθημα, και το μοντέλο το ερμηνεύει. Το αποτέλεσμα είναι ένα αρχείο ήχου που μπορείς να βάλεις σε βίντεο, παιχνίδι, intro podcast ή παρουσίαση.

Στο Mage το μοντέλο φωνής είναι το Seed Audio. Δημιουργεί φωνές, διαλόγους, μουσική και ηχητικά εφέ από ένα μόνο prompt και επιστρέφει ένα MP3 με ακριβώς τη διάρκεια που επιλέγεις: 5, 10, 30, 60 ή 120 δευτερόλεπτα. Δέχεται μία αναφορά εικόνας ή έως τρεις αναφορές ήχου για να καθοδηγήσουν τον ήχο, αλλά όχι και τα δύο στο ίδιο κλιπ.

Αυτό που το κάνει χρήσιμο στο Mage είναι το επόμενο βήμα. Ένας αποθηκευμένος χαρακτήρας μπορεί να έχει φωνή, και τα μοντέλα βίντεο που διαβάζουν φωνές χαρακτήρων, τα Cherry, Raspberry, Plum, Lemon και MiniMax-H3, τη χρησιμοποιούν αυτόματα, ώστε το πρόσωπο που σχεδίασες να ακούγεται ίδιο σε κάθε κλιπ. Η εφαρμογή Lipsync μπορεί επίσης να πάρει μια ατάκα που έφτιαξες και να συγχρονίσει ένα πρόσωπο μαζί της.

Ένα prompt φωνής έχει δύο μέρη: τι λέγεται και πώς ακούγεται. Βάλε τα λόγια που θα ειπωθούν σε εισαγωγικά, ώστε να φαίνεται καθαρά ότι είναι το κείμενο, και περιέγραψε την ερμηνεία γύρω τους. Το «Ένας ζεστός άντρας με βραχνή φωνή, γύρω στα εβδομήντα, αργός και διασκεδασμένος, κοντά στο μικρόφωνο σε ένα ήσυχο δωμάτιο, λέει: “Κάθε ιστορία ξεκινά από κάποιον που έπρεπε να είχε μείνει σπίτι.”» δίνει στο Seed Audio έναν ομιλητή, έναν τρόπο εκφοράς και έναν χώρο.

Οι λεπτομέρειες που αλλάζουν περισσότερο μια φωνή είναι η ηλικία, η ενέργεια, ο ρυθμός και η απόσταση. Ένας ψίθυρος κοντά στο μικρόφωνο, μια φωνή σκηνής σε μεγάλη αίθουσα και μια κουρασμένη φωνή στο τηλέφωνο είναι τρεις διαφορετικές ερμηνείες των ίδιων λέξεων. Δήλωσε το συναίσθημα με ρήμα, όπως πειράζω, ικετεύω ή ανακοινώνω, και όχι μόνο με επίθετο.

• Βάλε τις ακριβείς λέξεις σε εισαγωγικά
• Δώσε ηλικιακό εύρος και επίπεδο ενέργειας
• Όρισε τον ρυθμό: χαλαρός, γρήγορος, διστακτικός
• Περιέγραψε τον χώρο: στούντιο, δρόμος, καθεδρικός ναός, τηλέφωνο
• Κράτα μια ατάκα 5 ή 10 δευτερολέπτων για να δοκιμάσεις μια φωνή πριν από μια μεγάλη ανάγνωση

Το Seed Audio επιστρέφει ακριβώς τη διάρκεια που επιλέγεις, γι' αυτό ταίριαξε τη διάρκεια με το κείμενο. Μια μεμονωμένη ατάκα ή μια αντίδραση χωράει σε 5 ή 10 δευτερόλεπτα. Ένα σύντομο voiceover ή μια παρουσίαση προϊόντος χωράει σε 30. Μια σκηνή διαλόγου ή μια αφήγηση χωράει σε 60 ή 120. Ένα κείμενο που είναι πολύ μεγάλο για το κλιπ βγαίνει βιαστικό· ένα που είναι πολύ μικρό αφήνει σιωπή ή ήχο χώρου στο τέλος.

Σκέψου πού θα καταλήξει ο ήχος. Τα Lipsync και Music Video δέχονται ήχο έως 15 δευτερόλεπτα, οπότε για ένα πορτρέτο που μιλά, γράψε μια ατάκα που χωράει σε 10 δευτερόλεπτα και δημιούργησε με αυτή τη διάρκεια.

Ένας χαρακτήρας στο Mage μπορεί να έχει φωνή: ανέβασε ένα MP3 ή WAV ή δημιούργησε ένα σύντομο δείγμα με το Seed Audio όταν φτιάχνεις τον χαρακτήρα. Από εκεί και πέρα, τα Cherry, Raspberry, Plum, Lemon και MiniMax-H3 χρησιμοποιούν αυτή τη φωνή αυτόματα όποτε μιλά ο χαρακτήρας. Η γεννήτρια χαρακτήρων με τεχνητή νοημοσύνη καλύπτει τους χαρακτήρες, ενώ ο οδηγός για την ομιλούσα φωτογραφία με AI δείχνει πώς θα κάνεις ένα πορτρέτο να πει μια ατάκα.

Χρησιμοποίησε ήχο αναφοράς μόνο από τη δική σου φωνή ή από φωνή που έχεις άδεια να χρησιμοποιήσεις. Η μίμηση υπαρκτού προσώπου χωρίς τη συναίνεσή του δεν επιτρέπεται στο Mage.