art-see

Собственные данные

Замеры и данные

Десять исследований издания: что измеряем, по какой методике и что опровергнет наши гипотезы. Методика публикуется до результатов.

Коротко

Здесь опубликованы методики десяти замеров — до их проведения. Это сделано намеренно: методику, опубликованную после результатов, невозможно оспорить, потому что она всегда подогнана под то, что получилось.

Почему методика выходит раньше цифр

Обычный порядок: провели замер, получили результат, описали, как считали. Проблема этого порядка в том, что описание всегда оказывается совместимым с результатом — иначе его бы переписали.

Мы делаем наоборот. Сначала публикуется рамка: что измеряем, на какой выборке, по какой шкале, кто оценивает и что именно опровергнет нашу гипотезу. Потом проводится замер. Потом на ту же страницу добавляются результаты.

Это дороже и медленнее. Взамен даёт то, чего нет ни у одного обзора в нише: возможность спорить с методикой до того, как появились удобные цифры.

Что мы измеряем и почему именно это

Каждое из десяти исследований проходит один и тот же фильтр. Тема берётся, только если у неё есть источник спроса — реальный вопрос, который люди задают, — и источник данных, то есть мы физически можем это измерить.

Координата, где есть спрос, но нет способа измерить, остаётся в статьях как рассуждение. Координата, где есть данные, но нет спроса, не берётся вовсе.

Три группы

Язык. Кириллица в кадре, русский промпт против английского, стоимость русского промпта в токенах. Задачи, которых нет в англоязычных бенчмарках по построению.

Деньги. Стоимость пригодного кадра, индекс цены генерации. Разница между ценой генерации и ценой результата — то, на чём ошибаются все бюджеты.

Качество и доверие. Бенчмарк по фиксированным промптам, деградация видео по секундам, мера домысла в апскейле, точность детекторов, распознавание генерации людьми.

Ссылки на каждое — в реестре ниже. Он строится из данных, поэтому показывает актуальный статус, а не тот, что был на момент написания текста.

Правила, общие для всех замеров

Исходные данные публикуются. Все кадры, включая провальные. Все промпты. Все оценки по отдельным критериям, а не только итог.

Оценщиков минимум трое, предъявление слепое. Названия моделей скрыты, порядок рандомизирован. В результат идёт медиана, а разброс между оценщиками публикуется рядом — по нему видно, насколько шкала вообще работает.

Гипотеза формулируется опровержимо. Если замер не может показать, что мы неправы, он ничего не измеряет.

Дата важнее вывода. Модели меняются, и результат августа не описывает февраль. У каждой публикации указано, какие версии моделей проверялись.

Встроить эту таблицу к себе

Таблица обновляется у нас — у вас она всегда свежая. Использование свободное, единственное условие: сохранить ссылку на источник, она уже внутри кода.

Можно и просто открыть виджет отдельно.

Использование

Результаты и исходные данные можно цитировать со ссылкой на страницу-источник. Отдельного разрешения не нужно.

Мы просим об одном: указывайте дату замера. Копия таблицы без даты вводит читателя в заблуждение вернее, чем помогает, — а дата и составляет ценность этих данных.

Реестр исследований

Все замеры издания с их текущим статусом. Методика каждого опубликована до начала работы.

Исследования art-see: что измеряем, когда и в каком состоянии работа.
ИсследованиеЧто измеряемПериодичностьСрокСтатус
Стоимость одного пригодного кадраСколько генераций требуется на один кадр, пригодный к публикации, и сколько это стоит в деньгахквартальныйоктябрь 2026методика
Индекс кириллицы в кадреКакие модели способны нарисовать читаемую кириллическую надпись внутри изображения и насколько устойчивоквартальныйноябрь 2026методика
Точность детекторов ИИ-изображенийКак часто публичные детекторы ошибаются в обе стороны и на каких изображенияхполугодовойфевраль 2027методика
Бенчмарк по фиксированным промптамКак модели справляются с тремя типовыми задачами при абсолютно одинаковом входеквартальныйноябрь 2026методика
Индекс цены генерацииКак меняется средняя и минимальная стоимость изображения и секунды видео от квартала к кварталуквартальныйноябрь 2026методика
Русский промпт против английскогоНасколько результат по русскому промпту отличается от результата по его английскому переводу при прочих равныхполугодовойдекабрь 2026методика
Насколько люди отличают сгенерированное от снятогоВ какой доле случаев читатель отличает сгенерированное изображение от снятого и какие сюжеты распознаются хуже всегонепрерывный сбор, ежемесячная публикациядекабрь 2026методика
Сколько стоит русский промпт в токенахВо сколько раз русский промпт расходует больше токенов, чем его английский перевод, и когда это приводит к обрезкеразовый с пересмотром при смене токенизаторовсентябрь 2026методика
Мера домысла в апскейлеКакая доля деталей на увеличенном изображении придумана моделью, а не восстановленаполугодовойдекабрь 2026методика
На какой секунде разъезжается сгенерированное видеоС какой секунды в сгенерированном ролике накапливаются артефакты до заметного уровняполугодовойянварь 2027методика

Статус «методика» означает, что опубликовано описание замера, а цифр ещё нет. Это не задержка, а порядок работы: методику публикуют до результатов, чтобы её можно было оспорить заранее.

Протоколы и результаты 10

Частые вопросы

Почему на страницах исследований нет цифр?
Потому что замеры ещё не проведены. Опубликована методика — чтобы её можно было оспорить до появления результатов, а не после.
Когда появятся результаты?
Сроки указаны в реестре у каждого исследования. Первые — осенью 2026 года.
Можно ли использовать ваши данные?
Да, со ссылкой на источник и с указанием даты замера. Дата здесь — часть данных, а не оформление.