Chain of Verification (CoVe)

CoVe — метод самопроверки: после чернового ответа модель формирует отдельные проверочные вопросы, отвечает на них и пересобирает итог. В исходной работе техника снижала число галлюцинаций в исследованных задачах, но не гарантирует истинность.

Процесс

1. Создать черновик и выделить проверяемые утверждения.
2. Составить вопросы, способные обнаружить ошибку в каждом утверждении.
3. Проверить вопросы отдельно, по возможности без влияния формулировки черновика.
4. Сопоставить результаты и исправить только подтверждённые проблемы.
5. Выдать итог со статусом оставшейся неопределённости.

Практический вариант

Проверь черновик ниже.
 
1. Выдели атомарные проверяемые утверждения.
2. Для каждого сформулируй вопрос, ответ на который мог бы его подтвердить
   или опровергнуть.
3. Используй предоставленные материалы и доступные инструменты.
4. Присвой статус: подтверждено / противоречит источнику / не проверено.
5. Исправь итог, не заменяя неизвестность догадкой.
 
Черновик: {текст}
Источники: {источники или «не предоставлены»}

Внешняя проверка

Если модель отвечает только из тех же весов и контекста, она может повторить исходную ошибку. Для настоящего фактчекинга нужны первичные источники, актуальные данные, вычисления или тесты. Без них корректная формулировка — «самопроверка согласованности».

Риски

• придуманные ссылки и цитаты;
• уверенный ответ при отсутствии источника;
• вопросы, подтверждающие черновик вместо попытки его опровергнуть;
• устаревшая информация для изменчивых фактов;
• prompt injection внутри исследуемого документа.

Источник

• Chain-of-Verification Reduces Hallucination in Large Language Models

См. также: Оракул Истины, Hallucination, Тестирование промптов, Indirect Prompt Injection.