Как сделать матте-пейнтинг для расширения декорации при помощи ИИ

Ваш кадр с фоном, заменённым средневековым замком на скале или футуристической башней в дымке, согласованный по масштабу и свету. Улица и актриса сохраняются. Рабочий процесс виден здесь, без аккаунта.

Исходный кадр: мокрая мощёная улица в сумерках, женщина в бежевом тренче со спины, машины, припаркованные справа, провода и колокольня в конце улицыИнтерактивное демо

Настоящий воркфлоу, реальные результаты. Двигайте холст и приближайте как угодно.

Использовать этот воркфлоу

Настоящий рабочий процесс: мощёная улица в сумерках, женщина в тренче со спины и колокольня вдали, затем та же улица под властью освещённого замка на скале, и с далёкой футуристической башней и светящимся диском, подвешенным в дымке, на месте колокольни.

Коротко

Вы предоставляете
1 фото · текст или бриф
Что выдаёт воркфлоу
2 изображения в 16:9
Структура холста
6 нод, связанных 4 соединениями
Подключённые модели
Flux Kontext
Стоимость полного прогона
около 12 кредитов, то есть 0,14 $
Учётная запись
Демо доступно для просмотра без учётной записи; для генерации нужна бесплатная учётная запись, пробные кредиты включены

Декорация всегда заканчивается слишком рано. Деревенская улица, в конце которой хотелось бы замок, город научной фантастики, гора, которой нет. В кино это работа матте-пейнтинга: нарисовать то, что за пределами декорации, и согласовать с отснятым кадром. Этот процесс берёт ВАШ кадр и заменяет фон двумя способами: средневековый замок и футуристический город.

Сложность в масштабе и плейте. Наш первый замок вышел крошечным, поставленным на крыши, как макет, а наша первая улица будущего была перерисована. Теперь инструкции задают размер замка и для будущего улицу, идентичную до пикселя. Flux Kontext тогда заменяет только запрошенную область.

Чтобы расширить кадр по бокам, смотрите расширение изображения; чтобы изменить эпоху самой улицы, историческую декорацию. Два фона стоят двенадцать кредитов.

Реальные результаты из демо

Это файлы workflow'а, показанного выше, в том виде, в котором их выдали модели, без ретуши. Исходная точка указана, если она есть.

Исходная точка

Ваш кадр

Результат

Та же улица под властью замка с освещёнными окнами на скалистом обрыве, заполняющего верх кадра под сумеречным небомСоздано с помощью Flux Kontext
Исходная улица без изменений, включая провода и машины справа, с далёкой футуристической башней и светящимся диском, подвешенным в сумеречном небеСоздано с помощью Flux Kontext

Для кого

Режиссёры, супервайзеры визуальных эффектов, художники-постановщики, сценаристы и авторы фильмов на ИИ, желающие расширить декорацию.

Какие файлы предоставить

Общий план со свободным фоном, заменяемая область, добавляемый элемент с его размером в кадре и то, что должно остаться идентичным.

Как это сделать

  1. 1

    Выберите кадр с небом

    Общий план со свободным фоном: небо, конец улицы, горизонт. Чем чётче и обособленнее заменяемая область, тем лучше держится стыковка.

  2. 2

    Назовите, что исчезает

    Колокольня и небо, холм, здание вдали: скажите точно, какую область заменяет матте-пейнтинг.

  3. 3

    Задайте размер

    «Заполняет всю верхнюю треть», «поднимается далеко над крышами»: без указания масштаба добавленный элемент получается маленьким.

  4. 4

    Сравните с плейтой

    Положите результат рядом с исходным кадром: улица, машины, актриса должны быть идентичны. Если улица сдвинулась, запустите заново, прежде чем утверждать.

Варианты и сценарии использования

Тот же холст, настроенный под разные задачи: в каждом варианте меняются две-три строки промпта.

Режиссёр фэнтези с небольшим бюджетом

Действие его короткометражки происходит у подножия замка, который он не может снять. Он снимает на настоящей старой улице и показывает команде визуальных эффектов концепт итогового кадра, замок включительно.

VFX-супервайзер и питч

Супервайзеру нужно просчитать шесть расширений декорации. Концепт на каждый кадр, сделанный по фото с рекогносцировки, служит основой для сметы и разговора с продюсерами.

Автор фильма на ИИ

Автор смешивает настоящие и сгенерированные кадры. Матте-пейнтинг даёт фон его футуристического города на его собственных изображениях, которые он затем анимирует в видео.

Художник-постановщик и задник

В декорации, построенной в студии, есть окно в город. Художник проверяет пейзаж, который будет напечатан на заднике, прежде чем заказывать его.

Сценарист, питчующий мир

Сценаристка представляет сериал-антиутопию. Узнаваемая сегодняшняя улица, открывающаяся на футуристические башни, объясняет её вселенную быстрее страницы библии сериала.

Обложка романа

Автор фэнтези, издающийся сам, фотографирует переулок своего города в сумерках и добавляет замок из своего романа для стартового визуала или буктрейлера.

Частые ошибки

Не задать масштаб

«Добавь замок в конце улицы» даёт крошечный замок, как в нашей первой попытке. Напишите, сколько места он занимает в кадре и какова его высота относительно крыш.

Кадр без свободной области

Если фон закрыт деревьями или фасадами, модели приходится выдумывать всё, и стык заметен. Выберите кадр, где небо или горизонт хорошо читаются.

Не проверить плейту

Наша первая футуристическая попытка пересобрала улицу: машины по обеим сторонам, актриса ближе. Напишите, что меняется только фон, назовите, что остаётся, и всегда сравнивайте с исходным кадром.

Фон без размера

Улица будущего теперь цела, но её далёкая башня остаётся неброской, далёкой от желаемой линии гигантских башен. Как и для замка, скажите, какую часть кадра должен занимать фон.

Рекомендуемые модели

Частые вопросы

Остальная часть кадра сохраняется?

Да: в футуристической версии улица, провода, машины, припаркованные справа, и женщина в тренче такие же, как на фото. В версии с замком главное сохраняется, кадр слегка сужается.

Почему замок такой большой?

Потому что этого требует инструкция. В первой попытке, без написанного размера, он вышел крошечным в конце улицы. «Вся верхняя треть» и «далеко над крышами» решили вопрос масштаба.

Можно использовать это в фильме?

Как концепт или для короткого статичного кадра да. Для кадра с движением камеры матте-пейнтинг переделывается в композитинге, на основе этого концепта и исходной плейты.

Сколько стоят два матте-пейнтинга?

Двенадцать кредитов, по шесть за рендер на Flux Kontext. Третий фон на том же кадре стоит ещё шесть кредитов.

Почему Flux Kontext?

Потому что он заменяет область изображения, сохраняя остальной кадр, а это сам принцип расширения декорации. Иногда он пересобирает улицу: скажите ему, что меняется только фон, и сравнивайте с плейтой.

Какой формат на выходе?

16:9, в примере 1392 x 752 пикселей, в формате кадра. Для концепта, проецируемого на VFX-совещании, пропустите его через ноду Улучшить.

Работает на ночном кадре?

Да, если небо отличается от крыш. Попросите освещённые окна или огни на добавленном элементе, как у замка в примере, чтобы он читался в темноте.

А для видео?

Этот процесс обрабатывает изображение. Чтобы анимировать кадр, подключите видео-ноду к результату, сохраняя медленное движение камеры, чтобы фон держался.

Как сделать матте-пейнтинг для расширения декорации при помощи ИИ

Использовать этот воркфлоу

Бесплатный аккаунт, без банковской карты. Воркфлоу откроется уже заполненным на вашем холсте.