Evals (Оценка ИИ-систем)
Определение
Evals — повторяемые проверки качества модели или всей ИИ-системы на наборе примеров с заранее определёнными критериями и метриками.
Что оценивают
- правильность и полноту ответа;
- соблюдение формата и инструкций;
- качество поиска и ссылок в RAG;
- корректность выбора и вызова инструментов;
- безопасность, задержку и стоимость выполнения.
Виды проверок
| Вид | Пример |
|---|---|
| Детерминированная | JSON соответствует схеме, ссылка существует, тест проходит |
| С эталоном | Ответ совпадает с правильным классом или числом |
| Экспертная | Человек оценивает полезность по рубрике |
| Model-based | LLM-as-a-Judge выставляет оценку по рубрике |
| End-to-end | Агент завершил реальную задачу без запрещённых действий |
Практика
Начинай с 20–50 реальных примеров, включая типовые случаи, границы и известные сбои. Храни вход, ожидаемое поведение, версию промпта, модели и инструментов. Один средний балл скрывает редкие критические ошибки, поэтому анализируй и отдельные провалы.
Evals показывают качество на выбранном наборе, а не доказывают универсальную надёжность. Judge-модель тоже нуждается в калибровке человеческими оценками.
Связанные заметки
- Observability and Tracing — данные о фактическом выполнении.
- Structured Output — формат, который можно проверять автоматически.
- Hallucination — один из классов ошибок.
- Agent — end-to-end оценка агентного цикла.