Токенизатор
Разбивает промпт на единицы, которые модель обрабатывает.
Текст режется на токены — куски слов.
Почему это важно. У промпта есть лимит длины в токенах, и кириллица расходует их быстрее латиницы: русское слово чаще разбивается на несколько токенов. Длинный русский промпт может обрезаться раньше, чем его английский перевод.
Где встречается. Токенизатор — причина, по которой кириллица обходится дороже латиницы при равном смысле. Посчитать разницу можно счётчиком токенов, разбор — в русском промпте.