Технически
Обучение LoRA: свой стиль или персонаж
Небольшая надстройка, которая учит модель одному конкретному объекту. Что нужно для обучения и где оно ломается.
Коротко
LoRA решает задачу, которую не решает промпт: один и тот же персонаж или узнаваемый стиль в серии кадров. Качество определяется подбором примеров, а не числом шагов обучения.
Зачем нужна
Промптом нельзя описать конкретного персонажа так, чтобы он получался одинаковым. LoRA решает эту задачу: вы показываете модели объект на нескольких изображениях, и она учится его воспроизводить.
Типовые применения: узнаваемый персонаж в серии иллюстраций, фирменный стиль, конкретный предмет для каталога, собственная внешность для аватаров.
Что нужно для обучения
Примеры. Обычно от пятнадцати до сотни изображений. Больше не всегда лучше.
Разнообразие. Один объект в разных ракурсах, при разном освещении, на разном фоне. Это важнее количества: двадцать разных кадров дают лучший результат, чем сто однотипных.
Единообразие объекта. Если учите персонажа — он должен быть одним и тем же. Смена причёски или одежды между примерами размывает то, чему модель учится.
Подписи. Каждому примеру — описание. Правило: описывайте то, что меняется, и не описывайте то, что должно остаться постоянным. Постоянное модель свяжет с самим объектом.
Где ломается
Однотипные примеры. Все кадры анфас при одном свете — модель выучит именно этот ракурс и этот свет, а в других ситуациях развалится.
Переобучение. Слишком долгое обучение приводит к тому, что модель воспроизводит примеры буквально, включая фон и позу. Признак: любой промпт даёт кадр, подозрительно похожий на один из примеров.
Смешение объектов. Если на примерах рядом с персонажем всегда одна и та же вещь, модель сочтёт её частью персонажа.
Слишком высокий вес при использовании. Готовая надстройка на полной силе подминает весь кадр. Рабочий диапазон обычно заметно ниже единицы.
Порядок работы
Соберите примеры и вычистите брак: размытые, пересвеченные и неоднозначные кадры вредят больше, чем помогает их количество.
Подпишите, следуя правилу про постоянное и переменное.
Обучите с умеренными параметрами и проверьте промежуточные результаты, а не только финальный. Часто лучший результат находится не в конце.
Проверяйте на промптах, которых не было в примерах. Надстройка, работающая только на знакомых сценах, бесполезна.
Про чужие лица и стили
Обучение на изображениях конкретного человека без его согласия создаёт те же проблемы, что и замена лица. Обучение на работах конкретного художника ради воспроизведения его манеры — отдельный спорный вопрос, и относиться к нему как к безобидному не стоит.
Частые вопросы
- Сколько изображений нужно для обучения LoRA?
- Обычно от пятнадцати до сотни. Разнообразие важнее количества: двадцать разных кадров лучше сотни однотипных.
- Как понять, что произошло переобучение?
- Любой промпт даёт кадр, подозрительно похожий на один из обучающих примеров, включая фон и позу.
- Как подписывать примеры?
- Описывайте то, что меняется от кадра к кадру, и не описывайте то, что должно остаться постоянным: постоянное модель свяжет с самим объектом.