Локальный запуск моделей
Суть
«Локально» означает, что инференс выполняется на твоём устройстве. Это может дать офлайн-режим и больше контроля над данными, но только если интерфейс, инструменты, embeddings, телеметрия и fallback тоже не обращаются к облаку.
Маршрут без лишней путаницы
- Железо для локальных моделей — оцени память и скорость.
- Форматы и квантование — выбери совместимый файл и квант.
- Ollama или LM Studio — выбери runtime.
- Интерфейсы локальных моделей — добавь отдельный UI, только если он нужен.
- Выбор моделей — собери короткий список и проверь его на своих задачах.
Что выбрать первым
| Потребность | Стартовая точка |
|---|---|
| Простой CLI и локальный API | Ollama |
| Desktop-приложение, каталог и ручная настройка | LM Studio |
| Браузерный интерфейс или несколько пользователей | [[Интерфейсы локальных моделей |
| Интеграция с Obsidian | Сначала определить: обычный поиск, embeddings или [[RAG (Retrieval-Augmented Generation) |
Локальное и облачное — не одно и то же
Современный инструмент может поддерживать оба режима. Например, Ollama предлагает локальные и облачные модели, а LM Studio — локальный сервер и совместимые API. Всегда проверяй, где исполняется конкретная модель, какой endpoint использует клиент и нет ли облачного fallback.
Чек-лист приватности
- модель действительно загружена и исполняется локально;
- endpoint указывает на
localhost, а не на облачный домен; - web search, MCP и другие tools не отправляют данные наружу без необходимости;
- embeddings для RAG тоже локальные, если это требование;
- история, телеметрия, синхронизация и резервные копии настроены осознанно;
- сервер не выставлен в локальную сеть без аутентификации и firewall.
Официальные источники
Связанные заметки
- Практика и инструменты
- Quantization — кратко о квантовании.
- RAG (Retrieval-Augmented Generation) — работа с базой знаний.
- Справочник LLM API — когда облачный API практичнее.