Квантизация
Огрубление весов модели ради экономии памяти.
Числа внутри модели хранятся с меньшей точностью, файл становится легче.
Как влияет. Модель запускается на более слабой видеокарте ценой небольшой потери качества.
Практический смысл. Именно квантизация делает возможным локальный запуск на потребительском железе.
Насколько слабее может быть карта — в требованиях к железу.