Задачи с фотографией
Портрет питомца нейросетью
Шерсть, глаза и анатомия: где генерация справляется, а где выдаёт химеру.
Коротко
Животные удаются моделям лучше людей: анатомия проще, а неточность в морде не читается как «не тот». Ломается на шерсти в движении и на смешении пород.
Почему животные удаются лучше людей
Зритель не знает эталона. Незнакомую собаку он не сверяет с памятью, а незнакомое лицо человека — сверяет всегда. Мелкая неточность проходит незамеченной.
Анатомия проще для модели. Нет рук с пальцами — главного источника провалов.
Шерсть прощает. Мелкая фактура скрывает несостыковки, которые на гладкой коже были бы видны.
Где всё-таки ломается
Смешение пород. Модель усредняет виденное, и на запрос конкретной породы даёт похожее, но не её: уши от одной, морда от другой. Заводчик заметит сразу.
Глаза. Форма зрачка у кошек, положение бликов, отражение. Типовой промах — человеческие блики на кошачьих глазах.
Лапы в движении. Число суставов и их положение при беге даётся плохо — тот же класс ошибки, что с руками у людей.
Шерсть в движении. На статичном кадре хорошо, в динамике превращается в кашу.
Портрет конкретного питомца
Здесь та же проблема, что с персонажем: промптом конкретное животное не описывается. Нужен референс облика или обученная надстройка.
Для домашнего портрета обычно достаточно референса: точность узнавания у животных ниже требуется, чем у людей.
Каркас промпта
[порода] [возраст], [поза и направление взгляда],
[план], объектив 85 мм, открытая диафрагма,
[свет с направлением], видимая фактура шерсти,
[фон в расфокусе]
Строка про фактуру шерсти обязательна: без неё животное выглядит плюшевым.
Что проверять
Симметрию глаз и одинаковость бликов в них. Число пальцев на лапах. Направление шерсти — она должна расти от одной точки, а не хаотично. Соответствие пропорций заявленной породе.
Симптом, причина, решение
| Что видите | Почему так | Что делать |
|---|---|---|
| Усы обрываются в воздухе или растут не из тех точек | Вибриссы тоньше пикселя и растут из строго определённых мест; модель рисует их как декоративные штрихи | Смотреть усы первыми; на средних планах не рассчитывать на них вовсе |
| Шерсть на границе с фоном превращается в кашу | Та же механика, что и при вырезании по волосам: тонкая структура на стыке двух областей | Разводить шерсть и фон по яркости: тёмный фон под светлую шерсть и наоборот |
| Глаза светятся, хотя свет дневной | В обучающих данных много ночных снимков со вспышкой, и отражение глазного дна переносится в дневную сцену | Задать источник света явно и убрать свечение негативным описанием |
| Блики в глазах разной формы или числа | Каждый глаз дорисовывается отдельно, общего источника у модели нет | Сравнить блики попарно: один источник даёт один блик в каждом глазу |
| Порода «почти та» | Модель усредняет: длина морды, постав ушей и тип шерсти берутся частотные | Называть признаки словами, а не только породу — постав ушей, длину шерсти, окрас, форму морды |
| Ошейник, бирка или поводок выглядят странно | Мелкий рукотворный предмет поверх фактуры — слабое место генерации | Убирать из кадра и добавлять отдельно, если он нужен |
Почему усы стоит смотреть первыми
Вибриссы — самая быстрая проверка кадра с кошкой или собакой. Они растут из фиксированных точек, идут ровными дугами, не пересекаются и симметричны по сторонам морды.
Модель воспроизводит их по внешнему виду: штрихи разной толщины, обрывающиеся на полпути, иногда с обратной кривизной или растущие из шерсти там, где вибриссов не бывает.
Это тот же класс ошибки, что пальцы у людей: структура строгая и известная, а модель знает только то, как она выглядит.
Развилка по задаче
Декоративный портрет. Точность вторична, важно настроение. Референс не обязателен, промпта хватает, породные вольности не мешают.
Память об ушедшем питомце. Точность первична, и генерация здесь скорее вредит: похожее животное — не он, и разница видна тому, кто помнит. Лучший путь — работа с существующим снимком: восстановление старой фотографии даёт того самого питомца, а генерация даёт похожего.
Объявление о пропаже. Генерация недопустима. Люди будут искать животное, которого не существует, и совпадение по сгенерированной морде ничего не значит.
Коммерческий кадр — карточка питомника, реклама корма, иллюстрация к породной статье. Здесь породные признаки сверяют, и усреднение читается сразу. Либо съёмка, либо генерация без называния конкретной породы.
Что смотреть при увеличении
Увеличивайте не морду целиком, а две зоны.
Переход шерсти в фон. Там видно, дорисована шерсть отдельными волосками или размазана пятном.
Граница глаза и века. У животных она чёткая, с видимой каймой. Мягкий, «человеческий» переход — верный признак того, что модель собрала глаз по портретным данным.
Два животных в одном кадре
Поломка, которой нет на одиночном портрете: признаки перетекают между особями. В кадре оказываются не два животных, а одна усреднённая идея животного — окрас одного проступает на другом, постав ушей выравнивается, две разные породы сходятся к чему-то среднему.
Второе — масштаб. Разницу размеров между котёнком и взрослым котом, таксой и овчаркой модель не держит: она рисует правдоподобных животных, а не правдоподобную разницу между ними.
Надёжный путь — генерировать по одному и собирать композицией, сверяя размеры по общей опоре: пол, диван, ступенька. Тень под каждым животным собирается отдельно, иначе пара выглядит наклеенной. Как вообще строится кадр из нескольких объектов — отдельный разговор.
Частые вопросы
- Почему животные получаются лучше людей?
- Зритель не знает эталона незнакомого животного и не сверяет его с памятью. Плюс нет рук — главного источника провалов.
- Можно ли сгенерировать своего питомца?
- Промптом нет: конкретное животное не описывается словами. Нужен референс облика или обученная надстройка.
- Что проверять в результате?
- Симметрию глаз и бликов, число пальцев, направление роста шерсти и соответствие пропорций породе.