Токенизатор
Разбивает промпт на единицы, которые модель обрабатывает.
Текст режется на токены — куски слов.
Почему это важно. У промпта есть лимит длины в токенах, и кириллица расходует их быстрее латиницы: русское слово чаще разбивается на несколько токенов. Длинный русский промпт может обрезаться раньше, чем его английский перевод.