Observability and Tracing (Наблюдаемость и трассировка)
Определение
Observability — способность понять состояние ИИ-системы по её телеметрии. Tracing связывает отдельные шаги одного запроса: вызовы модели, retrieval, инструменты, retries и проверки.
Что полезно фиксировать
- идентификатор запроса и длительность каждого шага;
- версии модели, промпта, схемы и базы знаний;
- использование токенов, кэша и стоимость;
- названия инструментов, статусы и безопасные метаданные аргументов;
- найденные источники и оценки retrieval;
- ошибки, retries, остановки и человеческие подтверждения;
- итог оценки, если она выполнялась.
Логи, метрики и трейсы
| Сигнал | На какой вопрос отвечает |
|---|---|
| Logs | Что произошло в конкретном событии? |
| Metrics | Как система ведёт себя в среднем и во времени? |
| Traces | Через какие шаги прошёл конкретный запрос? |
Приватность
Полные промпты и результаты инструментов могут содержать персональные данные, секреты и документы. По умолчанию записывай минимально необходимые сведения, применяй redaction, сроки хранения и разграничение доступа.
Наблюдаемость помогает расследовать сбой, но сама по себе не измеряет качество — для этого нужны критерии и Evals.