Форматы и квантование локальных моделей
Суть
Квантование уменьшает точность хранения весов и обычно снижает расход памяти. Формат определяет, какие runtime смогут прочитать модель. Это разные решения, хотя в имени файла они часто видны вместе.
Не путать
- Архитектура — устройство самой модели.
- Формат весов — как тензоры и метаданные записаны на диск.
- Runtime — программа, которая исполняет модель.
- Квантование — сниженная точность весов, а иногда и других тензоров.
Актуальные семейства форматов
GGUF
Формат экосистемы llama.cpp. Часто используется для CPU, GPU и смешанного offload; поддерживается Ollama, LM Studio и многими другими runtime.
MLX
MLX LM — инструменты запуска и настройки LLM на Apple Silicon. Модель обычно распространяется как каталог с safetensors и конфигурацией, подготовленной для MLX, а не как один универсальный «файл MLX».
EXL3
ExLlamaV3 использует формат EXL3 для быстрого GPU-инференса, прежде всего на NVIDIA. Старый EXL2 относится к ExLlamaV2: перед скачиванием проверяй, какой формат поддерживает твой runtime.
Safetensors
Safetensors — безопасный и быстрый формат хранения тензоров. Он сам по себе не задаёт runtime и не означает конкретный уровень квантования.
Как читать название кванта
Обозначения Q4_K_M, Q5_K_M, IQ3 и Q8 относятся к разным схемам. Больше бит обычно означает больший файл и меньшую потерю качества, но сравнивать кванты только по цифре нельзя.
Практическая отправная точка:
- Q4/Q5 — частый баланс памяти и качества;
- Q8 — когда памяти достаточно и важнее сохранить качество;
- 2–3 bit — крайняя экономия памяти, требующая проверки на своих задачах.
Как выбрать сборку
- Проверь поддержку архитектуры и формата выбранным runtime.
- Сравни размер конкретной сборки с доступной памятью.
- Оставь запас под KV-cache, runtime и систему.
- Начни с Q4/Q5, если нет более точных требований.
- Проверь качество, скорость и tools на одинаковом eval-наборе.
- Зафиксируй репозиторий, имя файла, квант и версию runtime.
Конвертация или повторное квантование не добавляет модели знаний и может ухудшить качество. Предпочитай сборки с понятным происхождением и описанной методикой.