RAG: краткое определение

Определение

RAG — архитектура, в которой система сначала извлекает релевантные данные из внешнего источника, затем добавляет их в контекст модели для формирования ответа.

Минимальный pipeline

запрос → retrieval → отбор/reranking → контекст → генерация → ссылки

Retrieval может использовать ключевые слова, векторы, фильтры, граф или их комбинацию. Внешним источником бывает набор файлов, поисковый индекс, база данных или API.

Что RAG даёт

  • доступ к обновляемым и частным данным без изменения весов;
  • возможность показать использованные источники;
  • сокращение передаваемого контекста;
  • управление набором документов отдельно от модели.

Чего RAG не гарантирует

Поиск может не найти нужный фрагмент, выбрать нерелевантный или вредоносный документ. Модель способна неверно пересказать даже правильный источник. Поэтому отдельно измеряют retrieval и качество финального ответа.

RAG и fine-tuning

RAG меняет данные текущего запроса. Fine-tuning меняет поведение модели через обучение. Для актуальных знаний обычно удобнее retrieval; для стабильного формата или поведения может подойти fine-tuning. Подходы можно сочетать.

→ Подробный гайд по RAG

Связанные заметки