Квантизация
Огрубление весов модели ради экономии памяти.
Числа внутри модели хранятся с меньшей точностью, файл становится легче.
Как влияет. Модель запускается на более слабой видеокарте ценой небольшой потери качества.
Практический смысл. Именно квантизация делает возможным локальный запуск на потребительском железе.