Чек-лист агентной системы

Короткая проверка перед запуском агента на реальных данных и перед расширением его полномочий.

Задача

• Цель сформулирована как наблюдаемый outcome.
• Есть проверяемые критерии готовности.
• Определено поведение при нехватке данных.
• Есть явные условия остановки и лимиты.
• Подтверждено, что задаче действительно нужен agent loop.

Инструменты и права

• Агент видит только необходимые инструменты.
• Read и write разделены, где это возможно.
• Аргументы валидируются схемой и policy-кодом.
• Для путей, доменов, получателей и методов есть allowlist.
• Секреты имеют минимальные scopes и не попадают в логи.
• Код и файлы исполняются в ограниченной среде.

Рискованные действия

• Перед side effect показывается точный payload.
• Подтверждение относится к конкретному действию.
• Реализованы preview или dry run, если они возможны.
• Повтор запроса не дублирует действие благодаря idempotency.
• Известно, какие действия можно откатить и как именно.

Состояние и сбои

• У run есть уникальный ID и явный статус.
• Завершённые действия и результаты tools сохраняются.
• Есть checkpoint и проверенная процедура resume.
• Retry ограничен и разрешён только для подходящих ошибок.
• Отмена прекращает новые действия и сообщает уже выполненное.
• Частичный сбой не приводит к повтору успешных side effects.

Контекст и память

• Внешний контент и tool outputs считаются недоверенными.
• Факты, гипотезы и пользовательские решения различимы.
• Память имеет provenance, дату и правила удаления.
• Сжатие контекста сохраняет решения, IDs, ошибки и следующий шаг.
• Предложенные ссылки и источники реально существуют.

Наблюдаемость и качество

• Trace связывает модель, tools, state и outcome.
• Логи проходят redaction и имеют срок хранения.
• Измеряются успех задачи, стоимость и задержка.
• Есть eval-кейсы для ошибок, отказов и атак.
• Критичные результаты проверяются тестом, источником или человеком.
• Новая версия сравнивается с baseline до выпуска.

После запуска

• Пользователь видит, что фактически сделано.
• Невыполненные части и неопределённость названы честно.
• Внешнее состояние сверено, а не выведено из слов модели.
• Новый существенный сбой добавлен в регрессионный набор.

См. также: Анатомия Агента, Протоколы Автономности, Жизненный цикл агентной задачи, Наблюдаемость и оценка агентов.