Тестирование промптов

Промпт следует оценивать как компонент системы: на повторяемом наборе случаев, по заранее заданным критериям и с фиксацией модели и настроек.

Минимальный цикл

1. Определи задачу и измеримые критерии успеха.
2. Собери небольшой набор обычных, сложных и пограничных входов.
3. Сохрани эталон, рубрику или проверяемые свойства ответа.
4. Запусти исходный и новый промпт в одинаковых условиях.
5. Сравни корректность, соблюдение требований, стоимость и задержку.
6. Разбери ошибки по категориям и внеси одно осмысленное изменение.
7. Снова прогони весь набор, чтобы заметить регрессии.

Карточка эксперимента

prompt_version: v3
model: exact-model-id
date_tested: YYYY-MM-DD
settings:
  reasoning_effort: medium
dataset: prompt-eval-v1
metrics:
  - factual_correctness
  - instruction_following
  - output_validity
notes: "Что изменили и почему"

Что проверять

• правильность и подтверждённость фактов;
• полноту относительно требований;
• валидность формата или схемы;
• устойчивость к неоднозначным и пустым входам;
• обработку недоверенных инструкций во входных данных;
• отсутствие утечки секретов и нежелательных действий;
• стоимость, задержку и число вызовов инструментов.

Ручные и автоматические проверки

Точный формат, наличие полей, тесты кода и ссылки часто проверяются автоматически. Стиль и полезность можно оценивать рубрикой или попарным сравнением. LLM-судью нужно калибровать на человеческих оценках: модель может предпочитать многословие или повторять собственные ошибки.

Важно

• Один красивый ответ не доказывает качество промпта.
• При смене модели заново проверь критичные сценарии.
• Не оптимизируй только средний балл: отдельные критические ошибки могут блокировать выпуск.
• Храни реальные провалы — они особенно полезны как регрессионные тесты.

См. также: Evals, Iterative Prompting, Ревьюер Результата.