Как оживить фотографию нейросетью

Что происходит на самом деле

Формулировка «оживить фотографию» скрывает суть. Модель не двигает объекты на вашем снимке — она генерирует новое видео, используя снимок как первый кадр и как описание сцены.

Отсюда следует главное: всё, что появляется в кадре после первой секунды, модель придумала. Она не знает, что находится за спиной человека, как выглядит его затылок и что происходит за краем кадра, — и достраивает это по своим представлениям.

Что выходит хорошо

Пейзаж и природа. Движение облаков, воды, листвы, дыма. Модель уверенно справляется, потому что здесь нет объекта, чьё искажение бросается в глаза.

Предметный кадр. Медленное движение камеры вокруг объекта, изменение освещения. Хорошо работает для карточек товара и заставок.

Общие планы. Чем меньше в кадре занимает человек, тем меньше заметны ошибки в его анатомии.

Что выходит плохо

Крупный план лица. Мимика — самое сложное. Типовые сбои: неестественная моторика глаз, зубы, меняющие форму, лицо, «плывущее» к концу ролика.

Руки. Классическая слабость генеративных моделей. В движении она проявляется сильнее, чем на статичном кадре: пальцы могут поменять количество прямо по ходу дубля.

Текст в кадре. Вывеска или надпись, читаемая на исходной фотографии, за пару секунд превращается в набор знаков. С кириллицей это происходит быстрее — почему так.

Люди на втором плане. Модель дорисовывает их движение и часто делает это плохо, а зритель замечает.

Сколько стоит перебор

Здесь главная разница с работой над изображениями. Видео тарифицируется по секундам, и неудачный дубль стоит столько же, сколько удачный.

Восьмисекундный ролик на стандартном уровне Veo 3.1 — около $3.20. Три дубля — почти $10. На сцене с человеком крупным планом три дубля обычно не хватает.

Практический вывод: черновики гоняйте на дешёвом уровне. Облегчённый уровень Veo стоит $0.03 за секунду, Kling 3.0 — от $0.09. Найдите работающий промпт там, а финальный дубль снимите на дорогом. Подставить цифры под свой объём можно в калькуляторе.

Практический порядок работы

Начните с выбора кадра, а не промпта. Снимок с чётким планом, простым фоном и без мелкого текста даёт результат заметно лучше — независимо от модели.

Просите одно движение, а не сцену. «Медленный наезд камеры» отрабатывается надёжнее, чем «человек поворачивается и улыбается». Чем меньше модели нужно придумать, тем меньше она сломает.

Держитесь коротких длительностей. Артефакты накапливаются со временем: то, что выглядит хорошо на трёх секундах, к восьмой обычно разъезжается.