Все инструменты

Дублирование видео с помощью ИИ, синхронизация губ

Видео, где кто-то говорит, новый голос на другом языке: Sync Lipsync 3 подгоняет губы под новый текст. Один и тот же план на английском и на испанском, без пересъёмки. Весь процесс виден без регистрации.

Интерактивное демо

Настоящий воркфлоу, реальные результаты. Двигайте холст и приближайте как угодно.

Использовать этот воркфлоу

Реальный воркфлоу: видео аватара в узле «Медиа», два перевода, каждый озвучен своим узлом «Голос за кадром», и два узла «Видео» с настройкой Sync Lipsync 3, которые получают видео через видеопорт и голос через голосовой порт.

Коротко

Что выдаёт воркфлоу
2 видео по 12 с в 720p, формат 9:16 · 2 закадровых голоса
Структура холста
8 нод, связанных 6 соединениями
Подключённые модели
ElevenLabs v3, Sync Lipsync 3
Стоимость полного прогона
около 208 кредитов, то есть 2,50 $

Видео, снятое один раз, но доступное на любом количестве языков: именно это делает дублирование с синхронизацией губ. Человек на экране больше не произносит исходную фразу, он говорит перевод, и его рот покадрово следует за новым голосом. Лицо, освещение, кадр остаются такими же, как при съёмке.

Переведённый текст озвучивается в узле «Голос за кадром», голосом из каталога или клонированным голосом, например вашим. Узел «Видео» с настройкой Sync Lipsync 3 получает видео и голос и создаёт дублированный план. Цена зависит от полученной длительности, измеренной по вашим двум файлам, и отображается ещё до нажатия кнопки.

Демо начинается с видео говорящего аватара на французском и превращает его в английскую, а затем в испанскую версию. Рекламный ролик, внутреннее обучающее видео, презентация продукта: одна съёмка, файл под каждый рынок.

Как это сделать

  1. 1

    Загрузите видео с говорящим человеком

    Лицо снято спереди, хорошо освещено, рот виден, без рук или микрофона перед лицом. До двух минут за проход. Подойдёт кадр, снятый на телефон.

  2. 2

    Напишите перевод и выберите голос

    Каждый узел «Голос за кадром» озвучивает текст на одном языке. Выберите голос, близкий к голосу человека, или клонируйте его собственный, чтобы сохранить тембр от языка к языку.

  3. 3

    Настройте согласование длительностей

    По умолчанию результат обрывается по более короткой из двух длительностей. Если голос длиннее видео, выберите «зациклить»: видео повторяется под голос, что хорошо смотрится на кадре с человеком, обращённым к камере.

  4. 4

    Сгенерируйте и сравните

    Один узел на язык, все подключены к одному и тому же видео. Цена каждого зависит от его длительности. Перезапускайте только тот язык, который вам не понравился.

Варианты и сценарии использования

Тот же холст, настроенный под разные задачи: в каждом варианте меняются две-три строки промпта.

Ролик на пяти языках

Реклама, снятая на французском, превращается в пять файлов: один узел «Голос за кадром» на язык, один узел Sync Lipsync 3 на язык, одно и то же видео на входе. Бюджет виден на каждой кнопке ещё до запуска.

Переведённое обучающее видео

Тренер, снятый лицом к камере, текст переведён узлом «Текст», озвучен узлом «Голос за кадром», и видео дублировано для команд за рубежом. Монтаж остаётся тем же.

Исправить фразу без пересъёмки

Дублирование пригодится и в рамках одного языка: неудачно произнесённая фраза, изменившаяся цена, имя, которое нужно исправить. Перепишите текст, запустите заново, рот подстроится.

Отзыв клиента с субтитрами, затем с дублированием

Настоящий отзыв завоёвывает иностранную аудиторию без потери лица человека: дублируйте его близким по звучанию голосом и оставьте субтитры для доступности.

Сгенерированный аватар на всех языках

Возьмите видео, созданное с помощью говорящего аватара или UGC-рекламы, и продублируйте его: синтетический персонаж говорит на любом языке без повторной генерации плана.

Фото вместо видео

Если у вас нет исходного видео, заставьте фото говорить: InfiniTalk придумывает движение лица на основе портрета и голоса.

Частые ошибки

Видео с несколькими лицами

Модель синхронизирует одно лицо. С двумя людьми на экране результат непредсказуем. Кадрируйте на том, кто говорит.

Голос намного длиннее плана

В режиме обрезки результат заканчивается вместе с видео, и конец текста пропадает. Сократите перевод или переключитесь на режим цикла.

Рот скрыт во время съёмки

Рука, микрофон, чашка: всё, что проходит перед ртом, нарушает синхронизацию на этих кадрах. Держите лицо открытым при съёмке.

Забыть про музыку и атмосферу

Результат содержит только голос. Верните музыку в узел «Монтаж», иначе дублированная версия прозвучит более пустой, чем оригинал.

Рекомендуемые модели

Sync Lipsync 3ElevenLabs v3InfiniTalkVeo 3.1 Fast

Частые вопросы

Нужно ли пересъёмка видео для каждого языка?

Нет: в этом весь смысл. Одно видео, один узел «Голос за кадром» на язык, и губы следуют за каждым переводом.

Сохраняется ли оригинальный голос?

Нет, аудиодорожка результата это подключённый голос. Чтобы сохранить музыку или атмосферу, добавьте их обратно в узле «Монтаж» над дублированным видео.

Можно ли дублировать своим голосом на другом языке?

Да: клонируйте свой голос в узле «Голос за кадром», напишите перевод, и клонированный голос его озвучит. Губы будут следовать.

Какая длина видео допускается?

От одной секунды до двух минут за проход. Если больше, разрежьте видео в узле «Монтаж» и дублируйте части по отдельности.

Сколько стоит дублирование видео?

Цена зависит от полученной длительности, за секунду, и отображается на кнопке, как только видео и голос подключены. Техническая ошибка возвращается автоматически.

Работает ли дублирование на видео, созданном ИИ?

Да, не хуже, чем на реальной съёмке. Кадр, созданный Wan, Seedance или Veo, с лицом, обращённым вперёд, дублируется как любое другое видео.

Можно ли сохранить жесты и выражения лица?

Да: пересчитывается только рот. Руки, брови, движения головы остаются такими же, как на исходном кадре.

Какой голос выбрать для убедительного дублирования?

Голос того же тембра, что и у человека, или его клон. Прослушайте голос отдельно в узле «Голос за кадром» перед запуском синхронизации.

Дублирование видео с помощью ИИ, синхронизация губ

Использовать этот воркфлоу

Бесплатный аккаунт, без банковской карты. Воркфлоу откроется уже заполненным на вашем холсте.