Исследование издания
Точность детекторов ИИ-изображений
Независимая проверка публичных детекторов на смешанной выборке с известным происхождением каждого кадра.
Коротко
Детекторы публикуют свою точность сами. Независимой проверки на смешанной выборке нет — а на них ссылаются как на доказательство в спорах о происхождении изображений.
Цифр здесь пока нет
Замер запланирован на февраль 2027. До его проведения на этой странице опубликована только методика — чтобы её можно было оспорить до появления результатов, а не после.
Это осознанная позиция издания: почему мы не публикуем оценок до измерения.
Что именно измеряем
| Вопрос | Как часто публичные детекторы ошибаются в обе стороны и на каких изображениях |
|---|---|
| Почему этого нет ни у кого | Детекторы публикуют свою точность сами. Независимой проверки на смешанной выборке нет |
| Кому это нужно | Любой спор о происхождении изображения, где на детектор ссылаются как на доказательство |
| Инструмент | Смешанная выборка из сгенерированных и снятых изображений, прогон через публичные детекторы |
| Выборка | 50 сгенерированных и 50 снятых кадров, плюс те же кадры после типовой обработки |
| Шкала | Доля ложных срабатываний и доля пропусков отдельно; цена этих ошибок различается |
| Кто оценивает | Не требуется: происхождение каждого кадра известно заранее |
| Периодичность | полугодовой |
Что будет опубликовано
Замер, результаты которого нельзя перепроверить, — не замер. Вместе с выводами выкладывается всё, на чём они построены:
- Вся выборка с указанием происхождения
- Ответ каждого детектора по каждому кадру
- Отдельно: как меняется результат после пересохранения и сжатия
Что опровергнет нашу гипотезу
Если детекторы покажут долю ошибок ниже единиц процентов на обеих сторонах, наш тезис об их ненадёжности неверен
Этот пункт зафиксирован до замера намеренно. Исследование, которое невозможно опровергнуть, ничего не измеряет — оно подтверждает то, что автор решил заранее.
Почему это важнее, чем кажется
Детектор возвращает вероятность. В споре о происхождении изображения эта вероятность легко превращается в утверждение: «проверка показала, что фотография сгенерирована».
Дальше следуют выводы о человеке — авторе, свидетеле, участнике события. Цена ошибки здесь несопоставима с ценой ошибки в выборе модели для баннера.
При этом независимой проверки детекторов на смешанной выборке не существует. Точность заявляет сам разработчик детектора.
Две ошибки, и они неравноценны
Ложное срабатывание — настоящий снимок помечен как сгенерированный. Означает обвинение человека в подделке.
Пропуск — сгенерированное не распознано. Означает, что вы чего-то не заметили.
Мы измеряем их раздельно и настаиваем на этом. Общая «точность 95%» скрывает, в какую сторону идут оставшиеся пять процентов, а именно это и важно.
Выборка
Пятьдесят сгенерированных и пятьдесят снятых кадров. Происхождение каждого известно по построению, поэтому оценщики не нужны.
Отдельная часть замера — те же кадры после типовой обработки: пересохранение, сжатие как в мессенджере, кадрирование, скриншот. Именно в таком виде изображения обычно и попадают к тому, кто их проверяет.
Гипотеза: точность на обработанных кадрах окажется заметно ниже. Если так, из этого следует практический вывод, которого сейчас нет: детектор применим только к оригиналу файла.
Что войдёт в снятую половину
Кадры разной сложности, включая те, что чаще всего дают ложные срабатывания: сильно отретушированные портреты, обработанные фильтрами снимки, студийная съёмка с идеальным светом.
Брать только простые бытовые фотографии означало бы завысить результат детекторов.
Где замер может сломаться
Выбор детекторов. Мы берём публично доступные и называем их. Отсутствие закрытых профессиональных систем — ограничение замера, и оно указывается прямо.
Устаревание. Детекторы обновляются, поэтому замер полугодовой с указанием дат.
Наша выборка может оказаться нерепрезентативной. Лечится публикацией всей выборки: любой может проверить, не подобраны ли кадры удобно.
Что делать, пока результатов нет
Не использовать детектор как единственное основание для вывода о человеке. Смотреть визуальные признаки и происхождение файла как отдельные сигналы.
При важных последствиях — искать первоисточник изображения, а не увеличивать число прогонов через детекторы. Цепочка публикаций устанавливает происхождение надёжнее, чем анализ пикселей.
Частые вопросы
- Почему нельзя доверять заявленной точности детектора?
- Её заявляет сам разработчик. Независимой проверки на смешанной выборке не существует — это и есть повод для замера.
- Почему ошибки считаются раздельно?
- Ложное срабатывание означает обвинение человека в подделке, пропуск — что вы чего-то не заметили. Общая точность это различие скрывает.
- Зачем проверять обработанные кадры?
- Потому что именно в таком виде изображения обычно и попадают к проверяющему: после пересохранения, сжатия и репостов.