Embeddings (Векторные представления)
Определение
Embedding — числовой вектор, который модель строит для текста, изображения или другого объекта так, чтобы полезные для обучения отношения можно было сравнивать математически.
Как используют
Для семантического поиска embedding запроса сравнивают с embeddings документов, например по cosine similarity. Близость означает сходство в пространстве конкретной модели, но не гарантирует одинаковый смысл или правильность результата.
Практика для базы знаний
- Разбить документы на фрагменты.
- Получить embedding каждого фрагмента одной моделью.
- Сохранить векторы вместе с текстом и метаданными.
- Для запроса найти ближайших кандидатов.
- При необходимости выполнить фильтрацию и reranking.
Embeddings — популярный, но не обязательный компонент RAG. Полнотекстовый и гибридный поиск иногда работают лучше, особенно для имён, кодов и точных фраз.
Ограничения
- embeddings разных моделей обычно нельзя сравнивать напрямую;
- смена модели требует переиндексации;
- качество зависит от языка, домена, chunking и метрики;
- вектор может сохранять чувствительную информацию, поэтому индекс тоже нужно защищать.