Hallucination (Галлюцинация)
Определение
Галлюцинация — правдоподобный, но неподтверждённый или неверный фрагмент ответа модели. Ошибка может касаться факта, ссылки, цитаты, вычисления или связи между источниками.
🧠 Природа возникновения
LLM генерирует продолжение на основе параметров модели и текущего контекста, а не выполняет автоматическую проверку каждого утверждения по источнику. Ошибки возможны даже при наличии правильного документа: модель может неверно извлечь, связать или пересказать данные.
🛡 Методы борьбы (Антидоты)
Для поддержания чистоты вашей вики используйте следующие стратегии:
- Grounding: передать релевантные первичные источники через RAG или напрямую и потребовать координаты подтверждения.
- Ограничение случайности: более детерминированные настройки могут повысить повторяемость, но низкая температура не превращает неверный ответ в верный.
- Verification: Применение техники Chain of Verification (CoVe).
- Проверяемые ссылки: убедиться программно или вручную, что источник существует и действительно поддерживает утверждение.
- Evals: проверять систему на наборе реальных вопросов и известных ответов.
📋 Как распознать галлюцинацию?
| Признак | Описание |
|---|---|
| Сверх-уверенность | Модель использует фразы «Абсолютно точно», «Общеизвестно, что…». |
| Ложные ссылки | Изобретение несуществующих книг, авторов или ссылок на заметки, которых нет в вашей базе. |
| Смешение контекстов | Перепутывание дат, имен или событий из разных областей знаний. |
🛠 Риски на практике
Главный риск для базы знаний — накопление непроверенных утверждений, которые затем становятся контекстом для новых ответов. Поэтому автоматически созданный текст должен сохранять источники и проходить ревизию перед публикацией.
Связанные концепции
- RAG (Retrieval-Augmented Generation) — основной технический барьер для галлюцинаций.
- Chain of Verification (CoVe) — один из способов организовать проверку ответа.
- Evals — систематическая проверка частоты и типов ошибок.
- Structured Output — контроль формы ответа, но не истинности значений.