LM Studio
Суть
LM Studio — desktop-приложение для поиска, загрузки, сравнения и локального запуска моделей. Оно совмещает интерфейс, управление моделями и локальный API-сервер; для headless-сценариев есть daemon
llmster.
Когда выбирать
- нужен графический подбор моделей и квантов;
- хочется видеть загрузку модели и использование памяти;
- требуется локальный OpenAI- или Anthropic-совместимый endpoint;
- нужен один инструмент для ручного чата и API;
- требуется headless-сервер без постоянно открытого desktop UI.
Что умеет
- работать с поддерживаемыми GGUF- и MLX-моделями;
- запускать несколько моделей и настраивать контекст/GPU offload;
- предоставлять нативный REST API и совместимые endpoints;
- подключаться через TypeScript- и Python-SDK;
- запускаться как headless daemon через
llmster; - подключать MCP-серверы в поддерживаемых сценариях.
Совместимый endpoint воспроизводит форму популярного API, но не гарантирует все параметры и поведение облачного сервиса.
Практический старт
- Выбери модель по лицензии, архитектуре и размеру конкретного файла.
- Оставь запас памяти под KV-cache и runtime.
- Начни с умеренного контекста.
- Увеличивай GPU offload, пока конфигурация остаётся стабильной.
- Запусти локальный сервер и проверь его тестовым запросом.
- Для сравнения фиксируй модель, квант, контекст и параметры генерации.
Приватность
Локальный инференс не требует отправки промпта поставщику модели. Однако отдельно проверь телеметрию, историю, плагины, MCP, web search, удалённые embeddings и возможный cloud fallback.