Как поднять качество фотографии нейросетью

Главное недоразумение

Слово «улучшить» вводит в заблуждение, и из-за этого возникает большинство разочарований.

Нейросетевой апскейлер не восстанавливает информацию, которой нет в файле. Он дорисовывает правдоподобное: смотрит на размытое пятно, узнаёт в нём глаз и рисует глаз — тот, который считает подходящим. Результат выглядит резким, но детали в нём придуманы.

Для пейзажа, текстуры камня, листвы это безразлично: правдоподобный лист ничем не хуже настоящего. Для лица, номера, надписи и любого документа — критично.

Где это ломается

Лица на групповых снимках. Каждое лицо занимает мало пикселей, и модель достраивает черты по своим представлениям. Человек становится узнаваемо резким и слегка не собой. На семейном архиве это обидно, на документе недопустимо.

Текст в кадре. Вывеска, номер, подпись превращаются в похожие на буквы знаки. С кириллицей это происходит чаще, чем с латиницей, — и по той же причине, что и в генерации: в обучающих данных её несопоставимо меньше. Подробнее — в разделе о русском языке в моделях.

Мелкие повторяющиеся структуры. Сетка, ткань в рубчик, черепица получают регулярный узор, которого в оригинале не было.

Кожа. Типовой побочный эффект — пластиковая гладкость: поры и мелкий рельеф модель считает шумом и вычищает.

Как понять, что апскейл испортил кадр

Три проверки, каждая занимает секунды.

1. Сравните в стопроцентном масштабе, а не в превью. На уменьшенном изображении апскейл всегда выглядит выигрышно — в этом его смысл.
2. Проверьте текст. Если в кадре есть любая надпись, начинайте с неё: это самый быстрый индикатор того, что модель начала сочинять.
3. Посмотрите на глаза и зубы. Симметричные, слишком чистые, чуть кукольные — модель их дорисовала.

Когда апскейл уместен

Когда нужно напечатать пейзаж или предметный кадр крупнее исходника. Когда изображение идёт фоном и деталей никто разглядывать не будет. Когда вы сознательно принимаете, что часть содержимого будет придумана.

Когда нельзя

Документы и всё, что подтверждает факт. Судебные, медицинские, страховые материалы. Архивные фотографии, если важна достоверность, а не красота. Любой случай, где придуманная деталь может быть принята за настоящую.

Практический порядок работы

Сначала выясните, что не так с исходником. Размытие движения, шум, недостаток разрешения и потери сжатия — разные проблемы, и апскейл лечит только последние две.

Дальше поднимайте разрешение в два раза, а не сразу в восемь: чем больше кратность, тем больше содержимого модель придумывает. Если двукратного хватило — на этом и остановитесь.

И наконец сравните с оригиналом в стопроцентном масштабе. Не «стало резче», а «что именно изменилось» — это разные вопросы.