Δημιουργία μουσικού βίντεο με τεχνητή νοημοσύνη

Ένας δημιουργός μουσικών βίντεο με AI μετατρέπει ένα μουσικό κομμάτι σε πλάνα κάποιου που το ερμηνεύει. Αντί να δίνει κίνηση σε ένα μόνο πρόσωπο, σκηνοθετεί μια ολόκληρη παράσταση: τα χείλη του τραγουδιστή ακολουθούν τη φωνή, τα σώματα κινούνται στον ρυθμό και η κάμερα κόβει και ταξιδεύει όπως σε ένα μουσικό βίντεο.

Η εφαρμογή Music Video του Mage βασίζεται στους χαρακτήρες. Διάλεξε από έναν έως τρεις ερμηνευτές από τους αποθηκευμένους χαρακτήρες σου, πρόσθεσε ήχο έως 15 δευτερολέπτων και, προαιρετικά, έως τρεις εικόνες αναφοράς για τη σκηνή, τα ρούχα ή τα αξεσουάρ. Το Mage γυρίζει τους ερμηνευτές να τραγουδούν και να χορεύουν σε συγχρονισμό με κινηματογραφικές κινήσεις κάμερας, με το Plum από προεπιλογή ή με το Plum Max, το Lemon ή ένα από τα τέσσερα μοντέλα Cherry.

Επειδή οι ερμηνευτές είναι αποθηκευμένοι χαρακτήρες, τα ίδια πρόσωπα εμφανίζονται σε κάθε κλιπ, και αυτό κάνει μια σειρά από σύντομα κλιπ να μοιάζει με ένα ενιαίο βίντεο. Φτιάξε το ρεφρέν, μετά ένα κουπλέ και μετά τη γέφυρα, και βάλ' τα στη σειρά στο Storyboard.

Κάθε κλιπ δέχεται έως 15 δευτερόλεπτα ήχου, οπότε σχεδίασε το τραγούδι όπως θα έκανε ένας μοντέρ: εισαγωγή, κουπλέ, ρεφρέν, γέφυρα, τελικό ρεφρέν. Κόψε τον ήχο στην αρχή κάθε ενότητας, δημιούργησε ένα κλιπ για κάθε ενότητα με τους ίδιους ερμηνευτές και άλλαξε το prompt ώστε κάθε ενότητα να έχει δικό της σκηνικό ή πλάνο. Ένα ρεφρέν σε ταράτσα και ένα κουπλέ σε ντάινερ φαίνονται σαν πραγματικό μοντάζ.

Όταν τελειώσουν οι ενότητες, το Storyboard βάζει στη σειρά έως έξι αποθηκευμένα κλιπ και εξάγει ένα MP4 με τον ήχο τους, σε 9:16 ή 16:9. Έξι κλιπ των 15 δευτερολέπτων καλύπτουν ενάμισι λεπτό, αρκετό για μια σύντομη εκδοχή των περισσότερων τραγουδιών.

• Κόψε τον ήχο στα όρια των ενοτήτων, ποτέ στη μέση μιας λέξης
• Κράτα τους ίδιους ερμηνευτές σε κάθε ενότητα
• Άλλαξε τοποθεσία ή φωτισμό σε κάθε ενότητα
• Χρησιμοποίησε εικόνες αναφοράς για να μένουν ίδια τα ρούχα
• Διάλεξε 9:16 για κάθετα feeds, 16:9 για κινηματογραφική κάδρο

Οι ερμηνευτές είναι αποθηκευμένοι χαρακτήρες, οπότε η εμφάνισή τους ορίζεται πριν ανοίξεις την εφαρμογή. Φτιάξε τον καθένα από ένα καθαρό πορτρέτο φάτσα· αν τους σχεδιάζεις από το μηδέν, η γεννήτρια χαρακτήρων AI σε καθοδηγεί στη δημιουργία και την αποθήκευσή τους. Η εφαρμογή Character Sheet μετατρέπει μία εικόνα σε όψεις από μπροστά, από το πλάι και από πίσω, ώστε να ελέγξεις γρήγορα ένα σχέδιο πριν ανέβει στη σκηνή.

Για ένα συγκρότημα, κράτα το στιλ στην ίδια οικογένεια: ίδια παλέτα, ίδια εποχή, ίδιοι κανόνες ντουλάπας. Πρόσθεσε το ντύσιμο ή τη σκηνή ως εικόνα αναφοράς αντί να τα περιγράψεις αναλυτικά, και τα κλιπ θα ταιριάζουν μεταξύ τους.

Όταν μετράνε περισσότερο τα φωνητικά, ένα κοντινό πλάνο ενός ερμηνευτή δίνει τον καθαρότερο συγχρονισμό. Για χορό, ένα ευρύτερο πλάνο με χώρο γύρω από τα σώματα λειτουργεί καλύτερα, και μπορείς να γράψεις το στιλ κίνησης στο prompt. Ένα ντουέτο που εναλλάσσει στίχους δουλεύει καλύτερα όταν το prompt λέει ποιος τραγουδά πότε.

Για χορογραφία αντιγραμμένη από πραγματικό βίντεο χορού, χρησιμοποίησε το Motion Control, που παίρνει την κίνηση από ένα βίντεο αναφοράς. Ο οδηγός για τη γεννήτρια βίντεο χορού με AI εξηγεί και τους δύο τρόπους, ενώ η γεννήτρια μουσικής AI δείχνει πώς να φτιάξεις ένα κομμάτι από ένα prompt, αν δεν έχεις ήδη.