Исследование издания
Сколько стоит русский промпт в токенах
Во сколько раз кириллица расходует больше токенов латиницы и когда из-за этого обрезается длинный промпт.
Коротко
Самый быстрый и самый точный замер в списке: измерение детерминированное, оценщики не нужны. При этом коэффициента не публикует никто, хотя он объясняет, почему длинный русский промпт обрезается раньше английского.
Цифр здесь пока нет
Замер запланирован на сентябрь 2026. До его проведения на этой странице опубликована только методика — чтобы её можно было оспорить до появления результатов, а не после.
Это осознанная позиция издания: почему мы не публикуем оценок до измерения.
Что именно измеряем
| Вопрос | Во сколько раз русский промпт расходует больше токенов, чем его английский перевод, и когда это приводит к обрезке |
|---|---|
| Почему этого нет ни у кого | Факт известен качественно, но коэффициента не публикует никто |
| Кому это нужно | Все, у кого длинный промпт обрезается, и все, кто платит за токены |
| Инструмент | 50 промптов в двух языках через токенизаторы моделей каталога |
| Выборка | 50 промптов × 2 языка × токенизаторы доступных моделей |
| Шкала | Отношение числа токенов русского варианта к английскому |
| Кто оценивает | Не требуется: измерение детерминированное |
| Периодичность | разовый с пересмотром при смене токенизаторов |
Что будет опубликовано
Замер, результаты которого нельзя перепроверить, — не замер. Вместе с выводами выкладывается всё, на чём они построены:
- Полный набор промптов
- Число токенов по каждому варианту и токенизатору
- Коэффициент по каждой модели
- Порог длины, за которым наступает обрезка
Что опровергнет нашу гипотезу
Если коэффициент окажется около единицы, распространённое утверждение об удорожании кириллицы неверно
Этот пункт зафиксирован до замера намеренно. Исследование, которое невозможно опровергнуть, ничего не измеряет — оно подтверждает то, что автор решил заранее.
Что здесь измеряется
Модель работает не с буквами, а с токенами — кусками слов. Кириллица режется на более мелкие куски, чем латиница: токенизаторы обучались преимущественно на англоязычных текстах.
Отсюда два практических следствия, о которых почти не говорят:
Обрезка. У промпта есть лимит длины в токенах. Русское описание достигает его раньше, чем его английский перевод той же смысловой длины. Часть промпта отбрасывается молча — вы не получаете сообщения об ошибке, просто модель игнорирует хвост описания.
Деньги. Там, где оплата идёт за токены, русский текст обходится дороже за тот же смысл.
Известно это качественно: «кириллица дороже». Коэффициента не публикует никто.
Почему замер простой
Токенизация детерминирована. Один и тот же текст даёт одно и то же число токенов всегда. Оценщики не нужны, слепое предъявление не нужно, разброса не бывает.
Это редкий случай, когда результат нельзя оспорить по методике — только перепроверить и получить то же самое.
Что войдёт в набор
Пятьдесят промптов разной длины и структуры: от короткой строки до развёрнутого описания сцены с техническими параметрами. Каждый в двух вариантах.
Отдельно проверяются места, где расхождение должно быть наибольшим: слова с приставками, длинные прилагательные, технические термины, транслитерированные названия.
Что даст результат
Коэффициент, на который нужно умножать длину русского промпта, чтобы понять, укладывается ли он в лимит. И порог длины, за которым начинается обрезка, — по каждой модели отдельно.
Из этого следует практическое правило, которого сейчас нет: до какой длины русский промпт безопасен.
Где замер может сломаться
Токенизаторы разных моделей различаются. Поэтому результат публикуется не одним числом, а таблицей по моделям.
Смена токенизатора при обновлении модели. Замер разовый, но помечается версией и пересматривается, если вендор меняет токенизатор.
Что делать, пока результатов нет
Если длинный промпт даёт результат, будто модель прочитала только начало, — вероятно, так и есть. Сократите описание или перенесите важное в начало.
Правило работает независимо от языка, но на русском граница наступает раньше.
Частые вопросы
- Почему русский промпт обрезается раньше английского?
- Кириллица режется на более мелкие токены: токенизаторы обучались преимущественно на англоязычных текстах.
- Как понять, что промпт обрезался?
- Сообщения об этом обычно нет. Признак косвенный: модель отрабатывает начало описания и игнорирует конец.
- Почему этот замер не требует оценщиков?
- Токенизация детерминирована: один и тот же текст всегда даёт одно и то же число токенов.