Задачи с видео
Как повысить качество видео нейросетью
Те же ограничения, что у апскейла фотографии, плюс новое: дефекты начинают мерцать от кадра к кадру.
Коротко
Апскейл видео наследует все проблемы апскейла фотографии и добавляет своё: модель обрабатывает кадры независимо, и придуманные детали меняются от кадра к кадру, создавая мерцание.
Что добавляется по сравнению с фото
Всё, что верно для апскейла фотографии, верно и здесь: модель не восстанавливает утраченное, а дорисовывает правдоподобное.
Но есть добавка, специфичная для видео. Модель обрабатывает кадры по одному, и придуманные детали в соседних кадрах получаются разными. Возникает мерцание: фактура кожи, узор ткани, листва начинают дрожать и переливаться.
На статичном кадре результат выглядит отлично. В движении — плохо. Поэтому оценивать апскейл видео по стоп-кадру бессмысленно.
Где проявляется сильнее всего
Лица. Черты слегка меняются от кадра к кадру, лицо «дышит».
Мелкие повторяющиеся структуры. Ткань в рубчик, кирпич, листва.
Текст. Надпись в кадре меняет начертание на каждом кадре.
Шум плёнки. Модель принимает зерно за детали и усиливает его по-разному в каждом кадре.
Что помогает
Ищите инструмент с учётом соседних кадров. Часть сервисов обрабатывает кадр с оглядкой на предыдущий, и мерцание заметно снижается. Это главный критерий выбора, а не заявленная кратность увеличения.
Не увеличивайте больше чем вдвое. Чем выше кратность, тем больше придуманного и тем сильнее мерцание.
Уберите шум до апскейла, а не после. Иначе модель усилит зерно.
Проверяйте в движении и на большом экране. На телефоне мерцание почти не видно, на мониторе видно сразу.
Когда апскейл не поможет
Смазанное движение он не починит: смаз — это отсутствие информации в каждом отдельном кадре.
Сильно пережатую запись с блочными артефактами он тоже вытянет плохо: модель примет артефакты сжатия за содержание.
Записи, где важна достоверность, апскейлить нельзя по той же причине, что и документные снимки.
Симптом, причина, решение
| Что видите | Почему так | Что делать |
|---|---|---|
| Картинка дрожит и переливается | Кадры обработаны независимо друг от друга | Взять инструмент с учётом соседних кадров |
| Лицо «дышит» от кадра к кадру | Черты дорисовываются заново каждый раз | Снизить кратность увеличения |
| Зерно стало сильнее | Модель приняла шум за детали | Убрать шум до апскейла, а не после |
| Текст в кадре мерцает | Надпись перерисовывается на каждом кадре | Наложить текст заново поверх результата |
| На стоп-кадре хорошо, в движении плохо | Оценка велась по статичному кадру | Оценивать только в движении и на большом экране |
Чего апскейл не чинит
Смаз движения. Это отсутствие информации в каждом отдельном кадре, а не недостаток разрешения.
Блочные артефакты пережатой записи. Модель примет их за содержание и усилит.
Низкую частоту кадров. Это отдельная задача — интерполяция, и решается она другим инструментом.
Полевая деталь
Апскейл видео стоит времени, а не только денег: обработка идёт покадрово, и минута записи считается заметно дольше, чем одно изображение. Планируя работу, закладывайте это отдельной строкой — на объёме время оказывается более жёстким ограничением, чем бюджет.
Частые вопросы
- Почему после апскейла видео появляется мерцание?
- Модель обрабатывает кадры независимо, и придуманные детали в соседних кадрах получаются разными.
- Как выбрать инструмент?
- По наличию учёта соседних кадров, а не по заявленной кратности увеличения. Именно это снижает мерцание.
- Можно ли оценить апскейл по стоп-кадру?
- Нет. На статичном кадре результат обычно отличный, а все проблемы видны только в движении.