Μεταφραστής βίντεο με AI

Ένας μεταφραστής βίντεο με τεχνητή νοημοσύνη παίρνει ένα βίντεο σε μία γλώσσα και το δίνει σε μια άλλη: μεταφρασμένα λόγια, νέο ηχητικό κομμάτι στη γλώσσα-στόχο και, ιδανικά, έναν ομιλητή με στόμα που ταιριάζει στα νέα λόγια. Οι υπηρεσίες πλήρους μεταγλώττισης τα κάνουν όλα αυτά από ένα μόνο ανέβασμα. Το Mage κάνει τη φωνή και τα χείλη με ξεχωριστά εργαλεία που ελέγχεις εσύ, κάτι που ταιριάζει περισσότερο σε σύντομα κλιπ όπως διαφημίσεις, εισαγωγές και βίντεο με χαρακτήρες παρά σε ωριαίες ηχογραφήσεις.

Να πώς μοιράζεται η δουλειά. Το Mage δεν απομαγνητοφωνεί ούτε μεταφράζει μόνο του το βίντεό σου και δεν προσθέτει υπότιτλους. Το σενάριο στη νέα γλώσσα το γράφεις εσύ, ένας μεταφραστής ή ο βοηθός AI σου. Στη συνέχεια το Eleven Speech το διαβάζει σε πάνω από 90 γλώσσες και το Lipsync ζωντανεύει μια στατική εικόνα του ομιλητή, ένα καθαρό καρέ από το βίντεό σου ή έναν αποθηκευμένο χαρακτήρα, ώστε τα χείλη του να ακολουθούν τον νέο ήχο, έως 15 δευτερόλεπτα ανά κλιπ.

Το αποτέλεσμα είναι ένα νέο κλιπ με ομιλητή που δημιουργείται από αυτό το καρέ και όχι το αρχικό σου υλικό με αντικατεστημένο στόμα, οπότε οι χειρονομίες του ομιλητή και οι κινήσεις κάμερας του πρωτότυπου δεν διατηρούνται. Για αφήγηση χωρίς ορατό ομιλητή δεν χρειάζεσαι καθόλου συγχρονισμό χειλιών: απλώς βάλε τη νέα φωνή πάνω από την αρχική εικόνα στο πρόγραμμα επεξεργασίας σου. Για το κείμενο μέσα στις εικόνες διαφημίσεων, η δεξιότητα Ad Localizer το αντικαθιστά επιτόπου.

Αυτόματα στο Mage: το Eleven Speech μετατρέπει ένα γραπτό σενάριο σε ομιλία στη γλώσσα που το γράφεις, με ρυθμό και συναίσθημα που κατευθύνεις με ετικέτες όπως [whispers] ή [laughs]. Το Lipsync μετατρέπει μία εικόνα και έως 15 δευτερόλεπτα ήχου σε βίντεο όπου το θέμα τα λέει, με φυσικές εκφράσεις και διακριτική κίνηση του κεφαλιού. Η δεξιότητα Ad Localizer, στον βοηθό σου, απομαγνητοφωνεί το κείμενο μιας στατικής διαφήμισης, ζητά από τον βοηθό σου να το μεταφράσει και αντικαθιστά κάθε γραμμή με την ίδια γραμματοσειρά, μέγεθος και θέση αφού εγκρίνεις το κείμενο.

Όχι αυτόματα: η απομαγνητοφώνηση της αρχικής ομιλίας, η μετάφραση του προφορικού διαλόγου, η προσαρμογή του χρονισμού της νέας γραμμής στο πρωτότυπο, η διατήρηση της φωνής του αρχικού ομιλητή, ο διαχωρισμός της μουσικής από τη φωνή και οι υπότιτλοι. Το Mage δεν έχει εργαλείο μετατροπής ομιλίας σε κείμενο, αυτόματης μεταγλώττισης ή λεζαντών. Επιπλέον, το Lipsync δημιουργεί νέο κλιπ από μια στατική εικόνα, οπότε δεν διατηρεί την κίνηση, τις περικοπές ή τα άλλα άτομα του αρχικού υλικού.

• Αυτόματα: η φωνή από το σενάριό σου, σε πάνω από 90 γλώσσες.
• Αυτόματα: χείλη συγχρονισμένα με τον νέο ήχο, από μία εικόνα.
• Αυτόματα: αντικατάσταση του κειμένου διαφημίσεων στην εικόνα αφού το εγκρίνεις.
• Δικά σου: η απομαγνητοφώνηση, η μετάφραση και ο τελικός έλεγχος.
• Δεν είναι διαθέσιμα: υπότιτλοι ή νέα χείλη στο αρχικό υλικό.

Ένα σενάριο μεταγλώττισης δεν είναι αρχείο υποτίτλων. Πρέπει να ειπωθεί περίπου στον ίδιο χρόνο με το πρωτότυπο, γι' αυτό μετάφρασε προσέχοντας μαζί το νόημα και το μήκος. Τα γερμανικά και τα γαλλικά είναι συχνά μακρύτερα από τα αγγλικά, ενώ τα ιαπωνικά και τα κινεζικά συχνά πιο σύντομα· σύντμησε μια γραμμή αντί να επιταχύνεις τη φωνή. Άφησε τα ονόματα εταιρειών και προϊόντων όπως είναι και πες τους αριθμούς, τις ημερομηνίες και τις τιμές όπως θα τα έλεγε ένας ντόπιος ομιλητής.

Αν δουλεύεις στο Claude, στο ChatGPT ή σε άλλον βοηθό με συνδεδεμένο το Mage, ο βοηθός μπορεί να συντάξει τη μετάφραση και να σου την εμφανίσει γραμμή προς γραμμή πριν δημιουργηθεί οποιαδήποτε φωνή. Η μετάφραση αυτή είναι δουλειά του βοηθού, όχι λειτουργία του Mage, γι’ αυτό ζήτα από native speaker να τη διαβάσει αν προορίζεται για πελάτες. Μετά χώρισε το κείμενο στις φυσικές παύσεις, σε κομμάτια έως 15 δευτερολέπτων, όσο διαρκεί δηλαδή ένα κλιπ Lipsync.

Χρησιμοποίησε το Eleven Speech για τις περισσότερες μεταφράσεις. Διάλεξε μία από τις 16 φωνές του που ταιριάζει στην ηλικία και την ενέργεια του ομιλητή, γράψε το κείμενο στη γλώσσα-στόχο και καθοδήγησε την ανάγνωση με audio tags σε αγκύλες. Το MP3 έχει ακριβώς τη διάρκεια του κειμένου, έως 5.000 χαρακτήρες ανά αίτημα, οπότε δεν υπάρχει σιωπή να κόψεις. Στον οδηγό Μετατροπή κειμένου σε ομιλία με AI θα βρεις αναλυτικά τις φωνές και τα tags.

Το Eleven Speech μιλάει μόνο με τις προκαθορισμένες φωνές του. Όταν το νέο κομμάτι πρέπει να ακούγεται σαν τον αρχικό ομιλητή, το Seed Audio μπορεί να καθοδηγήσει μια φωνή από έως τρία ηχητικά δείγματα αναφοράς, μόνο με ηχογραφήσεις φωνής που έχεις άδεια να χρησιμοποιήσεις. Δημιουργεί σταθερές διάρκειες 5, 10, 30, 60 ή 120 δευτερολέπτων, γι’ αυτό έλεγξε το timing και τη γλώσσα σε μια σύντομη φράση πριν περάσεις σε ολόκληρο το κείμενο. Στον οδηγό Κλωνοποίηση φωνής με AI θα βρεις περισσότερα για το πώς ταιριάζεις μια φωνή.

Το να κλωνοποιήσεις τη δική σου φωνή για ένα ντουμπλάρισμα είναι συνηθισμένη πρακτική: το YouTube, για παράδειγμα, την αναφέρει ανάμεσα στις χρήσεις AI που δεν απαιτούν δήλωση τροποποιημένου περιεχομένου. Το να κλωνοποιήσεις τη φωνή κάποιου άλλου είναι άλλο θέμα, και το Mage δεν επιτρέπει την απομίμηση υπαρκτού προσώπου χωρίς τη συγκατάθεσή του.

Όταν ένα άτομο μιλάει στην κάμερα, πάρε από το βίντεο το πιο καθαρό καρέ του από μπροστά, με το στόμα ορατό και κλειστό ή χαλαρό, και χρησιμοποίησέ το ως θέμα στο Lipsync. Πρόσθεσε τον μεταφρασμένο ήχο, έως 15 δευτερόλεπτα, και διάλεξε μοντέλο: το Plum είναι το προεπιλεγμένο, ενώ το Blueberry 2 animάρει ακριβώς την εικόνα που του δίνεις, κρατώντας την όψη του αρχικού καρέ. Κάθε κλιπ είναι μια νέα ερμηνεία από αυτή τη φωτογραφία, με την κάμερα να μένει σταθερή πάνω στον ομιλητή.

Για έναν ομιλητή που εμφανίζεται σε μια σειρά βίντεο, αποθήκευσέ τον ως χαρακτήρα, ώστε το πρόσωπο να μένει ίδιο σε κάθε γλώσσα. Μετά βάλε τα κλιπ στη σειρά στο Storyboard, που ενώνει έως έξι σε ένα MP4 μαζί με τον ήχο τους. Στον οδηγό Ομιλούσα φωτογραφία με AI θα δεις πώς να διαλέξεις ένα καρέ που κινείται καλά.

Όταν δεν μιλάει κανείς στην κάμερα, όπως σε ένα εξηγηματικό βίντεο με αφήγηση, σε ένα demo προϊόντος ή σε μια εγγραφή οθόνης, παράλειψε το lip sync. Δημιούργησε τη νέα αφήγηση και αντικατέστησε το ηχητικό κομμάτι στον video editor σου. Το Mage δεν ενσωματώνει νέα φωνή σε υπάρχον βίντεο για λογαριασμό σου.

• Διάλεξε καρέ από μπροστά με ορατό στόμα.
• Κράτα κάθε κομμάτι ήχου στα 15 δευτερόλεπτα ή λιγότερο.
• Αποθήκευσε έναν επαναλαμβανόμενο ομιλητή ως χαρακτήρα.
• Αντικατάστησε τον ήχο σε έναν editor όταν δεν υπάρχει κανείς στην κάμερα.

Οι στατικές διαφημίσεις περνούν το μήνυμά τους μέσω κειμένου: τον τίτλο, το κουμπί, την προσφορά. Το skill Ad Localizer τα αναλαμβάνει μέσα από τον βοηθό σου. Απομαγνητοφωνεί κάθε γραμμή, μεταφράζει με βάση το νόημα και τον τόνο, προσαρμόζει αλλαγές γραμμής, μορφές αριθμών και διατάξεις από δεξιά προς τα αριστερά, και σου δείχνει το κείμενο για έγκριση. Μετά αντικαθιστά κάθε γραμμή στην εικόνα με το GPT Image 2.5 Flare, διατηρώντας το στυλ γραμματοσειράς, τη διάταξη, το προϊόν και το λογότυπο, ενώ αφήνει ως έχουν την επωνυμία και το κείμενο της συσκευασίας. Δεν μεταφράζει φωνές σε βίντεο. Θα το βρεις στη σελίδα Mage skills, και δες τη σελίδα Δημιουργία διαφημίσεων με AI για την υπόλοιπη ροή εργασίας των διαφημίσεων.