Hallucination (Галлюцинация)
Определение
Галлюцинация — это генерация моделью фактологически неверной, вымышленной или бессмысленной информации, которая подается в грамматически безупречной и крайне убедительной форме.
🧠 Природа возникновения
LLM не являются базами данных; они — статистические предсказатели следующего токена.
- Когда у модели не хватает данных в контексте, она не «молчит», а продолжает вычислять наиболее вероятное продолжение фразы.
- Результат выглядит логично, так как синтаксис соблюден, но семантика (смысл) оторвана от реальности.
🛡 Методы борьбы (Антидоты)
Для поддержания чистоты вашей вики используйте следующие стратегии:
- Grounding (Заземление): Использование RAG (Retrieval-Augmented Generation). Мы даем модели проверенный текст из вашей базы и просим отвечать только на его основе.
- Temperature Control: Снижение параметра «температуры» до или . Это делает модель менее «творческой» и более предсказуемой.
- Verification: Применение техники Chain of Verification (CoVe).
- Citations (Цитирование): Требование приводить прямые цитаты из предоставленных документов. Если модель не может найти цитату — она с меньшей вероятностью выдумает факт.
📋 Как распознать галлюцинацию?
| Признак | Описание |
|---|---|
| Сверх-уверенность | Модель использует фразы «Абсолютно точно», «Общеизвестно, что…». |
| Ложные ссылки | Изобретение несуществующих книг, авторов или ссылок на заметки, которых нет в вашей базе. |
| Смешение контекстов | Перепутывание дат, имен или событий из разных областей знаний. |
🛠 Риски на практике
Главный риск — «отравление» базы знаний. Если вы позволите ИИ бесконтрольно писать заметки, через год ваша вики может состоять на 30% из убедительного, но ложного контента, что обесценит её как надежный источник информации.
Связанные концепции
- RAG (Retrieval-Augmented Generation) — основной технический барьер для галлюцинаций.
- Chain of Verification (CoVe) — метод самопроверки модели.
- Knowledge Integrity — методология поддержания чистоты знаний.