AI-video vertaler

Een AI-videovertaler neemt een video in de ene taal en maakt er een versie in een andere taal van: de woorden vertaald, een nieuw stemspoor in de doeltaal en idealiter een spreker wiens mond past bij de nieuwe woorden. Complete dubbingdiensten doen dat allemaal met één upload. Mage doet de stem en de lippen met aparte tools waar je zelf controle over hebt. Dat past beter bij korte clips zoals advertenties, intro's en personagevideo's dan bij opnames van een uur.

Zo zit het. Mage transcribeert je video niet en vertaalt hem ook niet zelf, en voegt geen ondertitels toe. Jij, een vertaler of je AI-assistent schrijft het script in de nieuwe taal. Eleven Speech spreekt het vervolgens in, in meer dan 90 talen, en Lipsync animeert een still van de spreker, een duidelijk beeld uit je video of een opgeslagen personage, zodat de lippen de nieuwe audio volgen, tot 15 seconden per clip.

Het resultaat is een nieuwe pratende clip op basis van dat beeld, niet je originele opname met een vervangen mond. De gebaren van de spreker en de camerabewegingen uit het origineel blijven dus niet behouden. Voor voice-over zonder zichtbare spreker heb je helemaal geen lipsync nodig: leg de nieuwe stem in je editor over het originele beeld. Voor tekst in advertentiebeelden vervangt de Ad Localizer-skill die ter plekke.

Automatisch in Mage: Eleven Speech zet een geschreven script om in spraak in de taal waarin je het schrijft, met tempo en emotie die je kunt sturen met tags zoals [whispers] of [laughs]. Lipsync maakt van één afbeelding en maximaal 15 seconden audio een video waarin het onderwerp het uitspreekt, met natuurlijke uitdrukkingen en subtiele hoofdbewegingen. De Ad Localizer-skill in je assistent transcribeert de tekst in een statische advertentie, laat je assistent die vertalen en vervangt elke regel in hetzelfde lettertype, dezelfde grootte en op dezelfde plek nadat je de tekst hebt goedgekeurd.

Niet automatisch: de originele spraak transcriberen, gesproken dialoog vertalen, de timing van de nieuwe regel afstemmen op het origineel, de eigen stem van de oorspronkelijke spreker behouden, de muziek van de stem scheiden en ondertitels maken. Mage heeft geen spraak-naar-tekst, geen automatische dubbing en geen ondertiteltool. Lipsync maakt ook een nieuwe clip op basis van een still, dus beweging, sneden of andere mensen in beeld uit het originele beeldmateriaal blijven niet behouden.

• Automatisch: de stem op basis van je script, in meer dan 90 talen.
• Automatisch: lippen gesynchroniseerd met de nieuwe audio, vanuit één afbeelding.
• Automatisch: tekst in advertentiebeelden vervangen nadat je die hebt goedgekeurd.
• Aan jou: het transcript, de vertaling en de eindcontrole.
• Niet beschikbaar: ondertitels of nieuwe lippen op het originele beeldmateriaal.

Een dubbingscript is geen ondertitelbestand. Het moet in ongeveer dezelfde tijd als het origineel worden uitgesproken, dus vertaal met oog voor betekenis en lengte tegelijk. Duits en Frans zijn vaak langer dan Engels, Japans en Chinees vaak korter. Kort een regel liever in dan dat je de stem versnelt. Laat merk- en productnamen zoals ze zijn en zeg getallen, data en prijzen zoals een lokale spreker dat zou doen.

Als je werkt in Claude, ChatGPT of een andere assistent met Mage verbonden kan de assistent de vertaling opstellen en regel voor regel aan je laten zien voordat er iets wordt ingesproken. Die vertaling is het werk van de assistent en geen functie van Mage, dus laat haar door een moedertaalspreker nalezen als ze voor klanten bedoeld is. Splits het script daarna bij natuurlijke pauzes op in stukken van maximaal 15 seconden, de lengte van één Lipsync-clip.

Gebruik Eleven Speech voor de meeste vertalingen. Kies een van de 16 stemmen die past bij de leeftijd en energie van de spreker, schrijf het script in de doeltaal en stuur de voordracht aan met audiotags tussen vierkante haken. De MP3 is precies zo lang als het script, tot 5.000 tekens per verzoek, dus er is geen stilte om weg te knippen. De gids AI-tekst-naar-spraak gaat dieper in op stemmen en tags.

Eleven Speech spreekt alleen met de vooraf ingestelde stemmen. Als de nieuwe track moet klinken als de oorspronkelijke spreker, kan Seed Audio een stem laten volgen op basis van maximaal drie audioreferenties, uitsluitend met opnames van een stem die je mag gebruiken. Het maakt vaste lengtes van 5, 10, 30, 60 of 120 seconden, dus controleer de timing en de taal eerst met een korte zin voordat je een heel script doet. De gids AI-stemklonen legt uitgebreider uit hoe je een stem nabootst.

Je eigen stem klonen voor een nasynchronisatie is heel gewoon: YouTube noemt het bijvoorbeeld bij de toepassingen van AI waarvoor je niet hoeft te melden dat de content is aangepast. Andermans stem klonen is iets anders, en Mage staat niet toe dat je een echt persoon nabootst zonder diens toestemming.

Als iemand recht in de camera praat, pak je uit de video het duidelijkste frontale beeld van die persoon, met zichtbare mond die gesloten of ontspannen is, en gebruik je dat als onderwerp in Lipsync. Voeg de vertaalde audio toe, maximaal 15 seconden, en kies een model: Plum is de standaard, en Blueberry 2 animeert precies de afbeelding die je opgeeft, waardoor de look van het oorspronkelijke frame behouden blijft. Elke clip is een nieuwe vertolking vanuit die stilstaande afbeelding, waarbij de camera stabiel op de spreker gericht blijft.

Als een spreker in een hele serie voorkomt, sla je hem of haar op als Character, zodat het gezicht in elke taal identiek blijft. Zet de clips daarna op een rij in Storyboard, dat er maximaal zes samenvoegt tot één MP4 met geluid. De gids AI-pratende foto helpt je een frame kiezen dat goed te animeren is.

Als er niemand in beeld praat, zoals bij een uitleevideo met voice-over, een productdemo of een schermopname, sla je lipsync over. Genereer de nieuwe voice-over en vervang het audiospoor in je video-editor. Mage mixt geen nieuwe stem voor je in een bestaande video.

• Kies een frontaal frame met zichtbare mond.
• Houd elk audiostuk op maximaal 15 seconden.
• Sla een terugkerende spreker op als Character.
• Vervang de audio in een editor als er niemand in beeld praat.

Statische advertenties dragen hun boodschap in tekst: de kop, de knop, de aanbieding. De skill Ad Localizer regelt dat in je assistent. Hij schrijft elke regel uit, vertaalt op betekenis en toon, past regeleinden, getalnotaties en rechts-naar-links-opmaak aan en laat je de tekst goedkeuren. Daarna vervangt hij elke regel in de afbeelding met GPT Image 2.5 Flare, met behoud van lettertype, opmaak, product en logo, en laat hij de merknaam en de tekst op de verpakking ongemoeid. Voice-overs in video vertaalt hij niet. Je vindt hem op de pagina Mage skills, en bekijk de AI-advertentiegenerator voor de rest van de advertentieworkflow.