AI Stack: карта системы

Суть

AI-приложение — не одна модель, а набор слоёв. Эта карта помогает понять, где находится проблема: в модели, данных, инструментах, оркестрации, интерфейсе или эксплуатации.

Слои

СлойЗа что отвечаетПримеры
МоделиГенерация, рассуждение и [[Multimodalityмультимодальный ввод/вывод]]
Доступ к моделямAPI или локальный runtimeOpenAI API, Anthropic API, Ollama, LM Studio, llama.cpp
ИнструкцииЗадача, правила и формат ответаSystem Prompt, few-shot, Structured Output
Контекст и знанияДанные текущего запроса и найденные документыContext Window, Context Engineering, RAG, Embeddings, vector/keyword search
ИнструментыДействия во внешних системахTool Use Function Calling, MCP (Model Context Protocol)
ОркестрацияЦиклы, состояние, ветвления и остановкаHarness, LangChain, LangGraph, LlamaIndex, AutoGen
КачествоПовторяемые проверки, трассировка и ручная оценкаEvals, LLM-as-a-Judge, deterministic checks, Observability and Tracing
БезопасностьПрава, изоляция, подтверждения и защита данныхGuardrails, Indirect Prompt Injection, Протоколы Автономности
ИнтерфейсСпособ работы человека с системойChat, IDE, CLI, web UI, голос, Computer Use
ЭксплуатацияСтоимость, задержка, масштабирование и мониторингcaching, batch, rate limits, deployment

Как читать карту

Пример: помощник по базе знаний

Obsidian
  → индексирование и retrieval
  → отобранные фрагменты
  → модель
  → ответ со ссылками на заметки

Если поиск возвращает плохие фрагменты, смена модели может не решить проблему. Если фрагменты хорошие, но ответ нарушает формат, смотри на инструкции, structured output и evals.

Пример: агент для кода

цель пользователя
  → харнес читает репозиторий
  → модель предлагает изменение
  → инструмент меняет файл
  → тесты и diff проверяют результат
  → модель исправляет ошибку или завершает задачу

Надёжность здесь определяется не только моделью, но и правами, качеством инструментов, тестами и условием остановки.

Типовые архитектуры

  • Простой чат: интерфейс + модель + системная инструкция.
  • RAG: ingestion + индекс + retrieval + модель + цитирование.
  • Агент: модель + tools + цикл + состояние + ограничения.
  • Локальный помощник: локальный runtime + open-weight модель + UI; облачные инструменты подключаются отдельно.
  • Production-система: всё выше плюс evals, observability, контроль стоимости, безопасность и fallback.

Куда идти дальше

Почему здесь мало ссылок

Wikilinks ведут только на существующие заметки. Названия продуктов без отдельной страницы оставлены обычным текстом, чтобы граф Obsidian не состоял из фиктивных узлов.