Интерфейсы локальных моделей
Базовая схема
Runtime загружает и исполняет модель, а интерфейс отправляет запросы и хранит пользовательское состояние. Некоторые приложения совмещают обе роли.
Основные варианты
| Инструмент | Роль | Когда подходит |
|---|---|---|
| Ollama | Runtime, CLI и API | Нужен простой backend для скрипта, плагина или отдельного UI |
| Open WebUI | Браузерный интерфейс | Нужны пользователи, история, документы и расширяемый web UI |
| Jan | Desktop all-in-one | Нужен локальный чат и встроенный сервер |
| LM Studio | Desktop all-in-one и headless daemon | Нужны каталог, настройка загрузки, сравнение и API |
| llama.cpp | Низкоуровневый runtime и server | Нужны контроль, переносимость и минимальный слой абстракции |
Как выбрать
- Для автоматизации сначала выбирай runtime/API, затем UI.
- Для ручного сравнения моделей удобен desktop all-in-one.
- Для нескольких пользователей нужен web UI с аутентификацией.
- Для Obsidian не ставь RAG-систему автоматически: сначала определи, нужен ли поиск по заметкам вообще.
Что проверить
- где выполняется модель и куда уходит каждый сетевой запрос;
- поддерживаемые архитектуры, форматы и tools/function calling;
- хранение истории, телеметрию и резервное копирование;
- embeddings, chunking, retrieval и цитаты в RAG;
- аутентификацию, firewall и TLS при доступе не только с
localhost; - лицензию и частоту обновлений проекта.
Загрузка PDF — ещё не качественный RAG
Проверь разбиение текста, embeddings, retrieval, ссылки на источники и поведение системы, когда ответа в документах нет.