Замена персонажа нейросетью

При замене персонажа нейросеть подставляет другого человека вместо того, кто изображён на фото или видео. Это больше, чем замена лица. Лицо, волосы, фигура и одежда берутся у твоего персонажа, а место действия, освещение, поза и кадрирование — из оригинала. Результат выглядит так, будто твой персонаж действительно был там в момент съёмки.

В Mage для этого есть два приложения. Character Swap работает с фото: ты загружаешь исходное изображение и изображение персонажа, а оно заменяет человека и сохраняет сцену. Video Character Swap делает то же самое для клипа: применяет нового персонажа к каждому кадру, сохраняя исходное движение, камеру и фон, а оригинальный звук клипа по умолчанию остаётся.

Если нужно изменить только лицо, а остальное оставить, лучше подойдёт замена лица. Замена персонажа нужна, когда меняется человек целиком: другое тело, другая одежда, совсем другой персонаж в кадре, который тебе уже нравится.

Эти три инструмента похожи по названию, но решают разные задачи. Замена персонажа меняет человека целиком. Замена лица сохраняет тело, одежду и волосы исходного человека и меняет только лицо. Замена одежды оставляет человека прежним и меняет только то, во что он одет.

Выбирайте по тому, что должно остаться. Если важны исходное тело и одежда, используйте нейросеть для замены лица. Если человек должен остаться, а изменить нужно только образ, используйте нейросеть для смены одежды. Если от исходного человека ничего не должно остаться, используйте замену персонажа. С видео то же разделение: замена лица в видео — когда меняется только лицо, Video Character Swap — когда нужно заменить человека целиком.

Основную работу делает изображение персонажа. Если оно резкое, равномерно освещенное и персонаж виден целиком, модель получает его лицо, телосложение и одежду, которые можно перенести. Если кадр обрезан до крупного плана, телосложение придется выдумывать, а густые тени и солнечные очки скрывают нужные детали.

По возможности подбирайте похожий ракурс. Изображение персонажа в полный рост подходит для оригинала в полный рост. Если на оригинале человек сидит и виден по пояс, изображение персонажа по пояс перенесется точнее, чем маленькая фигурка на общем плане. А если персонаж будет в нескольких кадрах, сохраните его один раз в Characters, и каждая замена будет начинаться с одного и того же образа.

• Берите резкое, равномерно освещенное изображение персонажа с полностью открытым лицом.
• Покажите одежду, которую нужно перенести: замена копирует только то, что видно.
• Подбирайте похожий ракурс: в полный рост для полного роста, по пояс для кадра по пояс.
• Запустите одну и ту же замену на двух моделях и оставьте лучший вариант.
• Для серии сохраните персонажа один раз и используйте снова.

Video Character Swap принимает одно видео и одно изображение персонажа. По умолчанию работает модель Lemon с разрешением 480p и длиной 4 секунды, но можно переключиться на Cherry, Cherry Mini, Cherry Pro, Cherry 2 Pro, Plum, Plum Max или Berry. У каждой модели свои ограничения по длине исходного видео. Cherry 2 Pro принимает ролики от 4 до 30 секунд, а длина и соотношение сторон результата совпадают с исходным видео. Cherry, Cherry Mini, Cherry Pro и Plum принимают от 2 до 15 секунд, Lemon — от 1 до 15.

Лучше всего заменяется стабильная съемка. Если человек хорошо виден, не слишком мелкий в кадре и не загорожен другими, у модели есть один четкий объект для замены. Перед генерацией приложение попросит подтвердить, что у вас есть разрешение на использование людей и голосов в этом материале. Вредоносные дипфейки запрещены, как и замена реального человека без его согласия.