Почему замена фона в видео сложнее, чем на фото?

Маска строится для каждого кадра независимо, и контур дрожит. Плюс смазанные границы при движении интерпретируются по-разному.

Когда принимать решение о хромакее?

До съёмки. Разница в трудозатратах между съёмкой на однотонном фоне и ротоскопом — на порядок.

Что забывают при работе с хромакеем?

Убрать отражение зелёного на коже и волосах. Без этого объект выглядит подсвеченным чужим цветом.

Замена фона в видео: ротоскоп нейросетью или хромакей

Две принципиально разные ситуации

Снято на однотонном фоне. Задача решена в момент съёмки: хромакей отделяется по цвету надёжно и быстро.

Снято в произвольных условиях. Нужен ротоскоп — покадровое выделение объекта. Автоматика справляется на простых силуэтах и ломается на сложных.

Разница в трудозатратах между этими случаями — на порядок. Поэтому решение принимается до съёмки, а не после.

Где ломается автоматика

Там же, где на фото, но хуже: волосы, полупрозрачное, сетчатое, объект в цвет фона.

Добавляется своё:

Мерцание границы. Маска строится независимо для каждого кадра, и контур слегка дрожит. На статичном кадре не видно, в движении заметно.

Быстрое движение. Смазанные границы модель интерпретирует по-разному от кадра к кадру.

Выход за край кадра. Когда объект частично покидает кадр, маска обычно ломается.

Про хромакей

Зелёный или синий фон, ровный свет на фоне отдельно от объекта.

Типовая ошибка: осветить фон и объект одним источником. Тогда на фоне появляются градиенты и тени, и отделение по цвету перестаёт быть чистым.

Второй шаг, который забывают: отражение зелёного на коже и волосах. Убирается отдельной операцией, иначе объект выглядит подсвеченным чужим цветом.

Про сгенерированный фон

Работает так же, как на фото, и разваливается по тем же причинам: несовпадение света и отсутствие тени.

Добавляется движение: если камера в исходном материале двигалась, статичный сгенерированный фон выдаёт монтаж мгновенно. Нужен либо неподвижный кадр, либо фон с соответствующим движением.

Практический вывод

Если фон будет меняться — снимайте на хромакее. Это дешевле любой автоматики и даёт результат, который не приходится дорабатывать покадрово.

Почему та же ошибка на фото незаметна, а в видео нет

На фотографии маска строится один раз, и погрешность на ней стоит на месте. Зритель её либо замечает сразу, либо не замечает никогда.

В видео маска строится заново на каждом кадре, и погрешность на каждом кадре своя. Она не стоит — она движется. Движение в поле зрения перехватывает внимание раньше содержания кадра, поэтому край объекта начинает жить отдельно от объекта, и взгляд уходит туда даже при мелких отклонениях.

Практическое следствие: считать долю удачных кадров бессмысленно. Редкий плохой кадр даёт видимое подрагивание, а хорошие кадры вокруг его не компенсируют — на их фоне он заметнее. Это тот же механизм, из-за которого мерцает апскейл видео: независимая обработка кадров.

Три места, где рвётся именно видео

Волосы. На фотографии прядь вырезается вручную один раз. В видео прядь двигается, и на каждом кадре автоматика заново решает, где кончаются волосы и начинается фон. Контур закипает.

Смаз движения. Быстро идущая рука — не силуэт, а полупрозрачная полоса. Маска бинарна: пиксель относится либо к объекту, либо к фону, и полупрозрачность в неё не укладывается. На границе получается либо обрубленный смаз, либо кусок фона внутри объекта. Промежуточные значения хранит альфа-канал, и работать нужно с ним, а не с жёстким контуром.

Тонкие быстрые детали. Пальцы, дужки очков, шнур, тонкая ножка стула. То, что уже мелкого размера, на части кадров теряется целиком и возвращается на следующих — получается мерцание не края, а самой детали.

Где хромакей не выигрывает

Съёмка на однотонном фоне дешевле и надёжнее автоматики почти всегда. Почти — потому что есть случаи, где это не так.

Съёмка уже состоялась. Пересъёмки не будет, и выбор идёт не между хромакеем и ротоскопом, а между ротоскопом и другим кадром. Иногда второй вариант дешевле.

Объект отражающий или прозрачный. Стекло, вода, глянцевый пластик соберут на себя цвет фона, и чистить придётся больше, чем при аккуратном выделении на нейтральном фоне.

Кадр держится на контакте с местом. Тень на полу, отражение, свет от окружения. Отделив объект от фона, вы выбрасываете ровно то, что делало кадр достоверным, и подставленный фон это не вернёт.

Решение по всем трём принимается на подготовке съёмки, а не на монтаже — это часть рабочего процесса видеографа, а не постобработки.

Симптом, причина, решение

Что видите	Почему так	Что делать
Край объекта «кипит»	Маска строится независимо на каждом кадре	Сглаживать маску по времени, а не подчищать покадрово
Волосы то есть, то нет	Тонкая структура попадает и не попадает в порог маски	Не вырезать волосы, а ставить объект на фон близкой яркости
Рука при взмахе обрублена	Смаз не укладывается в бинарную маску	Снимать с более короткой выдержкой либо не отделять быстрые планы
По контуру светится ореол	Вместе с краем захвачены пиксели старого фона	Сжать маску на пиксель и растушевать границу
Объект подсвечен зелёным	Отражение фона на коже и волосах	Отвести объект дальше от фона и убрать отлив отдельной операцией
Фон не двигается вместе с камерой	Под подвижный план подставлен статичный кадр	Брать неподвижный план либо фон с тем же движением

Отдельно — цвет реквизита. Зелёная деталь одежды, обложка книги или логотип на упаковке пропадут вместе с фоном, и проверяется это до съёмки, а не на монтаже.