Исследование издания
Замер: русский промпт против английского
Слепое попарное сравнение результатов по русскому промпту и его английскому переводу при одинаковом сиде.
Коротко
Самый частый вопрос практики и самый безосновательно отвеченный. Встречающиеся в сети проценты не имеют методики — мы делаем слепое попарное сравнение при фиксированном сиде.
Цифр здесь пока нет
Замер запланирован на декабрь 2026. До его проведения на этой странице опубликована только методика — чтобы её можно было оспорить до появления результатов, а не после.
Это осознанная позиция издания: почему мы не публикуем оценок до измерения.
Что именно измеряем
| Вопрос | Насколько результат по русскому промпту отличается от результата по его английскому переводу при прочих равных |
|---|---|
| Почему этого нет ни у кого | Встречающиеся в сети проценты не имеют описанной методики и означают чьё-то впечатление |
| Кому это нужно | Вопрос «переводить или нет» задаёт каждый, кто пишет промпт не на английском |
| Инструмент | 30 промптов в двух языковых вариантах, фиксированный сид, одинаковые настройки |
| Выборка | 30 промптов × 2 языка × 3 сида × модели, принимающие оба языка |
| Шкала | Попарное слепое сравнение: оценщик не знает, какой кадр по какому промпту |
| Кто оценивает | Три оценщика, слепое предъявление, фиксируется доля предпочтений |
| Периодичность | полугодовой |
Что будет опубликовано
Замер, результаты которого нельзя перепроверить, — не замер. Вместе с выводами выкладывается всё, на чём они построены:
- Пары кадров с раскрытием после оценки
- Промпты в обоих вариантах
- Сиды и настройки
- Доля предпочтений по каждой модели
Что опровергнет нашу гипотезу
Если доля предпочтений не отличается от 50% статистически значимо, разницы между языками нет
Этот пункт зафиксирован до замера намеренно. Исследование, которое невозможно опровергнуть, ничего не измеряет — оно подтверждает то, что автор решил заранее.
Почему существующим цифрам нельзя верить
Утверждение «английский промпт работает на треть лучше» кочует по подборкам без указания на то, что и как измерялось. За ним стоит чьё-то впечатление от нескольких генераций.
Проблема даже не в отсутствии методики, а в том, что вопрос сформулирован неизмеримо. «Лучше» — по какому признаку? Точность следования описанию, художественное качество, отсутствие артефактов — это три разные вещи, и они могут расходиться.
Как устроен замер
Фиксированный сид. Без него меняются сразу две переменные: язык промпта и случайность генерации. При одинаковом сиде различие остаётся одно.
Слепое попарное предъявление. Оценщик видит два кадра и не знает, какой по какому промпту. Он отвечает на один вопрос: какой ближе к описанию задачи. Описание задачи ему дают на его родном языке отдельно от промптов.
Три сида на пару. Один сид может оказаться удачным для одного языка случайно.
Только модели, принимающие оба языка. Сравнивать там, где модель русский не понимает вовсе, бессмысленно.
Что мы измеряем на самом деле
Не «качество кадра», а долю предпочтений. Если из тридцати пар оценщики в пятнадцати выбрали кадр по русскому промпту — разницы нет. Если в двадцати пяти выбрали английский — разница есть, и её величина выражается в этой доле, а не в выдуманных процентах «качества».
Где замер может сломаться
Качество перевода. Если английский вариант переведён плохо, замер измерит переводчика. Лечится: переводы делаются заранее, проверяются отдельно и публикуются вместе с результатами — чтобы претензию можно было предъявить конкретно.
Смещение оценщика. Человек, знающий о гипотезе, склонен её подтверждать. Лечится слепым предъявлением.
Разные задачи ведут себя по-разному. Возможно, на портрете разницы нет, а на сложной сцене есть. Поэтому промпты разбиты по типам задач, и результат публикуется в разрезе, а не одним числом.
Что делать, пока результатов нет
Держите промпт на двух языках: русский для себя, английский для модели. Это снимает вопрос целиком и стоит нескольких секунд.
Технические термины промпта — фокусное расстояние, схема света, тип плана — имеют устоявшиеся английские формы, и они работают лучше буквального перевода. Справочник даёт их сразу.
Частые вопросы
- Насколько английский промпт лучше русского?
- Пока неизвестно. Именно поэтому мы проводим замер, а встречающиеся в сети проценты не воспроизводим.
- Почему нужен фиксированный сид?
- Без него меняются две переменные разом: язык и случайность генерации. Отделить одно от другого становится невозможно.
- Что вы публикуете кроме итога?
- Промпты в обоих вариантах, сиды, настройки и долю предпочтений по каждой модели отдельно.