Quantization

Quantization (Квантование)

Определение

Квантование — представление весов, активаций или KV-кэша с меньшей числовой точностью, чтобы сократить память и иногда ускорить инференс.

Примеры

• FP16/BF16 — распространённая точность для запуска и обучения.
• INT8, FP8, INT4 — более компактные представления.
• Q4/Q5/Q6 — семейства схем, часто встречающиеся в GGUF; одна цифра не описывает весь метод.

Компромисс

Экономия памяти не всегда равна отношению битности: часть модели, метаданные и KV-кэш могут храниться иначе. Скорость зависит от железа и поддержки конкретного kernel. Падение качества тоже неодинаково: важны архитектура, метод калибровки и задача.

Варианты

• Post-training quantization: преобразование уже обученной модели.
• Quantization-aware training: обучение с учётом будущей низкой точности.
• Mixed precision: разные слои или тензоры используют разную точность.

Для локального запуска выбирай не «самую маленькую» сборку, а ту, которая помещается вместе с контекстом и проходит твои проверки.

Связанные заметки

• Weights
• Inference
• Железо для локальных моделей
• Форматы и квантование
• Knowledge Distillation