Апскейлер восстанавливает утраченные детали?

Нет. Он дорисовывает правдоподобные детали на месте утраченных. Выглядит резко, но содержимое придумано моделью.

Можно ли улучшать так фото на документы?

Не стоит. Модель меняет черты лица, и результат может быть отклонён, а на документах, подтверждающих факт, придуманная деталь недопустима.

Почему после апскейла кожа выглядит пластиковой?

Модель принимает поры и мелкий рельеф за шум и вычищает их. Это типовой побочный эффект, а не сбой конкретного сервиса.

Во сколько раз можно увеличивать?

Начинайте с двукратного. Чем выше кратность, тем большую долю содержимого модель придумывает.

Как поднять качество фотографии нейросетью

Главное недоразумение

Слово «улучшить» вводит в заблуждение, и из-за этого возникает большинство разочарований.

Нейросетевой апскейлер не восстанавливает информацию, которой нет в файле. Он дорисовывает правдоподобное: смотрит на размытое пятно, узнаёт в нём глаз и рисует глаз — тот, который считает подходящим. Результат выглядит резким, но детали в нём придуманы.

Для пейзажа, текстуры камня, листвы это безразлично: правдоподобный лист ничем не хуже настоящего. Для лица, номера, надписи и любого документа — критично.

Где это ломается

Лица на групповых снимках. Каждое лицо занимает мало пикселей, и модель достраивает черты по своим представлениям. Человек становится узнаваемо резким и слегка не собой. На семейном архиве это обидно, на документе недопустимо.

Текст в кадре. Вывеска, номер, подпись превращаются в похожие на буквы знаки. С кириллицей это происходит чаще, чем с латиницей, — и по той же причине, что и в генерации: в обучающих данных её несопоставимо меньше. Подробнее — в разделе о русском языке в моделях.

Мелкие повторяющиеся структуры. Сетка, ткань в рубчик, черепица получают регулярный узор, которого в оригинале не было.

Кожа. Типовой побочный эффект — пластиковая гладкость: поры и мелкий рельеф модель считает шумом и вычищает.

Как понять, что апскейл испортил кадр

Три проверки, каждая занимает секунды.

Сравните в стопроцентном масштабе, а не в превью. На уменьшенном изображении апскейл всегда выглядит выигрышно — в этом его смысл.
Проверьте текст. Если в кадре есть любая надпись, начинайте с неё: это самый быстрый индикатор того, что модель начала сочинять.
Посмотрите на глаза и зубы. Симметричные, слишком чистые, чуть кукольные — модель их дорисовала.

Когда апскейл уместен

Когда нужно напечатать пейзаж или предметный кадр крупнее исходника. Когда изображение идёт фоном и деталей никто разглядывать не будет. Когда вы сознательно принимаете, что часть содержимого будет придумана.

Когда нельзя

Документы и всё, что подтверждает факт. Судебные, медицинские, страховые материалы. Архивные фотографии, если важна достоверность, а не красота. Любой случай, где придуманная деталь может быть принята за настоящую.

Практический порядок работы

Сначала выясните, что не так с исходником. Размытие движения, шум, недостаток разрешения и потери сжатия — разные проблемы, и апскейл лечит только последние две.

Дальше поднимайте разрешение в два раза, а не сразу в восемь: чем больше кратность, тем больше содержимого модель придумывает. Если двукратного хватило — на этом и остановитесь.

И наконец сравните с оригиналом в стопроцентном масштабе. Не «стало резче», а «что именно изменилось» — это разные вопросы.

Что из этого следует при выборе инструмента, собрано в подборке апскейлеров; отдельный разговор — подготовка к печати, где дорисовка видна лучше, чем на экране.

Что не так с исходником

Апскейл лечит не всякую беду, и часть разочарований приходится на кадры, которым он не помогает по устройству.

Дефект исходника	Лечится апскейлом	Что делать
Мало пикселей, кадр в остальном чистый	Да, это его прямая задача	Поднимать кратность по шагам
Потери сжатия: квадраты, ореолы у контуров	Частично	Сначала убрать артефакты, потом увеличивать
Шум и зерно	Да, но вместе с мелкой фактурой	Снизить силу шумоподавления, зерно вернуть поверх
Смаз от движения	Нет	Модель нарисует резкие края там, где их не было
Промах фокуса	Нет	Резкость появится, но придуманная
Пересвет и провал в тенях	Нет	В выбитых участках данных нет, будет заполнено домыслом

Разница между «мало пикселей» и «не в фокусе» здесь принципиальная. В первом случае информация есть, её просто мало. Во втором её нет вовсе, и модель заполняет пустоту.

Кратность по шагам

Двукратное увеличение, повторённое дважды, и однократное четырёхкратное различаются не качеством счёта, а тем, что первый способ оставляет точку остановки. После каждого шага видно, сколько модель дописала, и можно прекратить там, где домысел ещё терпим. Один прыжок такой точки не даёт: вы получаете конечный кадр и уже не знаете, на каком этапе он перестал быть вашим.

Проверять после каждого шага нужно текст — надпись ломается раньше всего остального. Модель узнаёт форму букв, а не читает слово, поэтому вывеска остаётся похожей на вывеску, но перестаёт быть той же вывеской. С кириллицей это заметнее, и почему так — отдельный разбор.

Отсюда практическое следствие: кадр, в котором есть номер, дата, фамилия или состав на упаковке, через апскейлер не гоняют. Если подпись нужна крупной, её набирают поверх кадра, а не восстанавливают.

Как измерить домысел на своём кадре

Прогоните один исходник через апскейлер дважды с разными начальными условиями и сравните версии между собой.

Там, где модель работала с реальной информацией из файла, версии совпадут: информация одна. Там, где сочиняла, разойдутся — сочинить можно по-разному. Расхождение между прогонами и есть мера домысла, и получить его можно без оригинала в высоком разрешении, которого у вас всё равно нет.

Замер по этому приёму у нас предзаявлен, результатов пока нет. Сам приём работает уже сейчас и на вашем конкретном кадре скажет больше, чем любая общая оценка.