Токенизатор

Разбивает промпт на единицы, которые модель обрабатывает.

Олег Красин··1 мин чтения

Текст режется на токены — куски слов.

Почему это важно. У промпта есть лимит длины в токенах, и кириллица расходует их быстрее латиницы: русское слово чаще разбивается на несколько токенов. Длинный русский промпт может обрезаться раньше, чем его английский перевод.

Олег Красин псевдоним

Псевдоним автора технического раздела. Отвечает за локальный запуск моделей, требования к железу и за замеры, которые издание проводит само.

Отвечает за: локальный запуск, требования к железу, методика замеров