Iterative Prompting (Итеративное улучшение)
Рабочий промпт развивается через наблюдаемые ошибки и повторные проверки. Цель итерации — исправить конкретный класс сбоев без ухудшения остальных сценариев.
Цикл
- Baseline: зафиксируй исходный промпт, модель, настройки и набор входов.
- Run: получи результаты в одинаковых условиях.
- Classify: сгруппируй ошибки: факты, формат, полнота, стиль, инструменты, безопасность.
- Change: внеси минимальное изменение, связанное с причиной ошибки.
- Compare: повтори весь набор и проверь регрессии, стоимость и задержку.
- Record: сохрани версию, результат и основание решения.
Пример
Проблема: модель иногда придумывает ссылки на заметки.
Слабое исправление:
Будь внимательнее и не галлюцинируй ссылки.Проверяемое исправление:
Создавай [[вики-ссылки]] только на названия из <note_catalog>.
Остальные связи выведи обычным текстом со статусом «кандидат».
Перед ответом проверь каждую ссылку по каталогу.Для тестов добавь вход с существующей заметкой, похожим несуществующим названием и пустым каталогом.
Не смешивай причины
Если одновременно поменять роль, структуру, примеры и модель, нельзя понять, что помогло. Большой пересмотр допустим для устаревшего прототипа, но сравнивай его с baseline на тех же кейсах.
Версионирование
Храни промпт рядом с датой, точным идентификатором модели, настройками и описанием тестового набора. Формат v1, v2 полезен только вместе с журналом изменений.
См. также: Тестирование промптов, Evals, Zero-shot vs Few-shot Prompting, _Prompt Lab Index.