Железо для локальных моделей
Главное правило
Сначала смотри на размер конкретной сборки модели и доступную память, затем — на пропускную способность памяти и поддержку runtime. Число активных параметров MoE не равно объёму всех весов.
Из чего складывается память
- Веса модели — основной объём; зависит от общего числа параметров и кванта.
- KV-cache — растёт с контекстом, batch size, точностью cache и архитектурой.
- Runtime и рабочие буферы — требуют дополнительного запаса.
- ОС и приложения — особенно заметны в unified memory на Mac.
Грубая оценка весов до накладных расходов:
| Точность | Примерно на 1B параметров |
|---|---|
| FP16/BF16 | около 2 GB |
| 8-bit | около 1 GB |
| 4-bit | около 0,5–0,7 GB |
| 2–3 bit | меньше, но риск потери качества выше |
Фактический размер зависит от смешанной точности, метаданных и схемы квантования. Надёжнее смотреть размер готового файла или каталога модели.
Ориентиры по доступной памяти
| Память | Разумный первый тест |
|---|---|
| 8 GB | 3B–8B, 4-bit, умеренный контекст |
| 16 GB | 7B–14B, 4-bit |
| 24 GB | 14B–32B, 4-bit; иногда больше с offload |
| 32–64 GB | 20B–70B, если сборка и KV-cache помещаются |
| 80 GB+ | крупные модели и серверные сценарии |
Это не обещание скорости и не таблица совместимости: разные архитектуры используют память по-разному.
NVIDIA
- CUDA поддерживается большинством производительных GPU-runtime.
- Полная загрузка в VRAM обычно быстрее CPU/RAM offload.
- Несколько GPU могут разделить модель, но обмен между ними добавляет накладные расходы.
- При покупке сравнивай VRAM, bandwidth, энергопотребление и поддержку нужного runtime.
Apple Silicon
CPU и GPU используют unified memory. Это упрощает запуск крупных сборок, но та же память нужна системе и приложениям. Для Apple сначала проверяй поддержку MLX или Metal выбранным runtime, затем реальные замеры на близком чипе.
Перед скачиванием
- Проверь размер конкретного GGUF-, MLX- или EXL3-варианта.
- Оставь запас памяти под KV-cache и runtime.
- Уточни поддержку архитектуры и кванта.
- Найди замер на похожем железе.
- Начни с небольшого контекста и увеличивай его по необходимости.
- Измеряй tokens/s, время первого токена и память после прогрева.