Lip Sync με AI

Το lip sync με AI μετατρέπει μια στατική εικόνα και ένα ηχητικό κλιπ σε βίντεο όπου το πρόσωπο μιλάει ή τραγουδάει αυτόν τον ήχο. Το μοντέλο ακούει τον ήχο, υπολογίζει το σχήμα του στόματος που χρειάζεται κάθε συλλαβή και κινεί το πρόσωπο αντίστοιχα, με τις μικρές κινήσεις του κεφαλιού και τις εκφράσεις που κάνουν την ομιλία να φαίνεται αληθινή και όχι σαν στόμα που ανοιγοκλείνει πάνω σε φωτογραφία.

Η εφαρμογή Lipsync του Mage το κάνει αυτό από μία μόνο εικόνα. Ανέβασε μια φωτογραφία ή διάλεξε έναν αποθηκευμένο χαρακτήρα, πρόσθεσε μια ηχογραφημένη ατάκα, ένα τραγούδι ή μια αφήγηση έως 15 δευτερόλεπτα και διάλεξε μοντέλο βίντεο. Το πρόσωπο διατηρεί την εμφάνιση, το κάδρο, τον φωτισμό και το περιβάλλον της εικόνας σου, ενώ η κάμερα μένει σταθερή πάνω του. Μπορείς να προσθέσεις μια σύντομη οδηγία σκηνής, όπως νέο φόντο ή διάθεση, και το Mage την εφαρμόζει μετά τη δική του οδηγία lip sync.

Είναι φτιαγμένο για δημιουργούς που έχουν ήδη τον ήχο: ένα voiceover για ένα κλιπ προϊόντος, μια ατάκα μεταγλωττισμένη σε άλλη γλώσσα, ένα απόσπασμα από podcast, ένα κουπλέ τραγουδιού. Αν χρειάζεσαι ακόμη τη φωνή, φτιάξ’ την πρώτα με το Seed Audio και φέρ’ την εδώ. Αν το άτομο πρέπει απλώς να μιλήσει, το Lipsync είναι το εργαλείο. Αν πρέπει να εμφανιστεί σε performance, με κινήσεις κάμερας και χορό, η εφαρμογή Music Video ταιριάζει καλύτερα.

Ο ήχος καθορίζει το μεγαλύτερο μέρος του αποτελέσματος. Μια στεγνή ηχογράφηση με μία φωνή, χωρίς μουσική υπόκρουση και χωρίς αντήχηση δίνει στο μοντέλο καθαρές συλλαβές να ακολουθήσει. Η μουσική στο φόντο και οι επικαλυπτόμενες φωνές θολώνουν τα σύμφωνα από τα οποία χτίζονται τα σχήματα του στόματος, γι' αυτό κόψε το κλιπ στην ατάκα που χρειάζεσαι και αφαίρεσε τη σιωπή από την αρχή, αφού το πρόσωπο περιμένει όσο δεν ακούγεται κάτι.

Η εικόνα καθορίζει τα υπόλοιπα. Ένα πρόσωπο που γεμίζει ένα καλό μέρος του κάδρου, κοιτάζει περίπου προς την κάμερα και έχει το στόμα ακάλυπτο αφήνει στο μοντέλο χώρο να δουλέψει. Χέρια μπροστά από το στόμα, έντονο προφίλ και πολύ μικρά πρόσωπα σε ανοιχτό πλάνο είναι οι συνήθεις λόγοι που ένα κλιπ φαίνεται περίεργο. Αν ξεκινάς από ένα πορτρέτο που δημιούργησες, φτιάξ' το με κλειστό ή χαλαρό στόμα, ώστε τα πρώτα καρέ να μην ξεκινούν στη μέση μιας λέξης.

• Κόψε τον ήχο στην ακριβή ατάκα, έως 15 δευτερόλεπτα
• Χρησιμοποίησε μία καθαρή φωνή χωρίς μουσική υπόκρουση
• Διάλεξε φωτογραφία με θέα μπροστά και ορατό στόμα
• Κράτα τη σκηνοθεσία σκηνής σύντομη: ένας χώρος, ένα ντύσιμο ή μια διάθεση
• Δοκίμασε ένα δεύτερο μοντέλο πριν αλλάξεις οτιδήποτε άλλο

Κάθε εκτέλεση του Lipsync δέχεται έως 15 δευτερόλεπτα ήχου. Για ένα ολόκληρο voiceover ή ένα μεγαλύτερο τραγούδι, χώρισε τον ήχο σε φυσικές παύσεις σε κομμάτια των 15 δευτερολέπτων ή λιγότερο και συγχρόνισε κάθε κομμάτι με την ίδια φωτογραφία ή τον ίδιο αποθηκευμένο χαρακτήρα. Ένας αποθηκευμένος χαρακτήρας κρατά το πρόσωπο ίδιο από τμήμα σε τμήμα, και αυτό κάνει τις μεταβάσεις αόρατες.

Όταν τα τμήματα είναι έτοιμα, βάλ' τα στη σειρά στο Storyboard, που βάζει σε σειρά έως έξι αποθηκευμένα κλιπ και τα εξάγει, μαζί με τον ήχο τους, ως ένα MP4. Ξεκινάς μόνο από ένα πορτρέτο; Ο οδηγός για AI φωτογραφία που μιλάει καλύπτει τόσο τη συγγραφή της φωνητικής ατάκας όσο και την κινούμενη εικόνα του προσώπου.

Ο συγχρονισμός χειλιών είναι ένας πρακτικός τρόπος να μεταγλωττίσεις ένα σύντομο κλιπ. Ηχογράφησε ή δημιούργησε την ατάκα στη νέα γλώσσα, κράτα την εκφορά κοντά στον αρχικό ρυθμό και τρέξ' την πάνω σε μια φωτογραφία ομιλητή που έχεις άδεια να χρησιμοποιήσεις. Επειδή το στόμα κινείται με βάση τον νέο ήχο, τα χείλη ακολουθούν τις μεταφρασμένες λέξεις και όχι τις αρχικές.

Για έναν επαναλαμβανόμενο αφηγητή ή έναν χαρακτήρα που μιλά σε μια σειρά, φτιάξε το πρόσωπο μία φορά με το εργαλείο AI για δημιουργία χαρακτήρων και πρόσθεσε πλάνα με κίνηση ανάμεσα στα πλάνα ομιλίας με AI εικόνα σε βίντεο. Για μια τραγουδιστή εμφάνιση με κινήσεις κάμερας, το εργαλείο AI για μουσικά βίντεο κλιπ είναι φτιαγμένο ακριβώς γι' αυτό.