Ollama
Суть
Ollama — runtime и менеджер моделей с CLI и HTTP API. Он умеет запускать модели локально, но экосистема также включает облачные модели: режим выполнения нужно проверять у конкретного тега.
Когда выбирать
- нужен простой backend для приложения, плагина или скрипта;
- хочется скачать и запустить локальную модель одной командой;
- удобнее API и CLI, чем ручная настройка inference-движка;
- нужна поддержка macOS, Linux и Windows.
Основные команды
| Команда | Что делает |
|---|---|
ollama run <model> | Скачать при необходимости и запустить модель |
ollama pull <model> | Скачать или обновить модель |
ollama list | Показать установленные модели |
ollama ps | Показать загруженные модели и размещение |
ollama stop <model> | Выгрузить модель из памяти |
ollama serve | Запустить сервер вручную |
Точное имя, тег, размер и режим модели проверяй в Ollama Library. Метка cloud означает удалённое выполнение, а не локальный инференс.
API
- локальный Ollama API:
http://localhost:11434/api; - облачный Ollama API:
https://ollama.com/apiи аутентификация; - для части клиентов доступны OpenAI-совместимые endpoints.
Совместимость API — это совместимость формы запросов, а не обещание реализовать все параметры, tools и поведение оригинального провайдера.
Безопасный локальный запуск
- Выбери локальный тег, который помещается в память.
- Запусти модель и проверь
ollama ps. - Убедись, что клиент обращается к
localhost. - Не открывай порт
11434в сеть без отдельной аутентификации и ограничения доступа. - Проверь, не используют ли UI, tools или embeddings внешние сервисы.
Ограничения
- Полное заявленное контекстное окно может не помещаться или сильно замедлить генерацию.
- MoE-модель хранит все веса, даже если для токена активируется лишь часть экспертов.
- Качество tool calling зависит от модели, шаблона, runtime и клиента.
- Новый тег может изменить сборку модели; для воспроизводимости фиксируй точное имя и digest.