Guardrails (Защитные ограничения)
Определение
Guardrails — набор проверок и ограничений вокруг модели, которые уменьшают вероятность недопустимого входа, ответа или действия.
Уровни защиты
- До модели: аутентификация, лимиты размера, классификация входа.
- В контексте: явные инструкции и маркировка недоверенных данных.
- Перед инструментом: allowlist, проверка схемы, прав и области действия.
- После модели: проверка формата, политик, ссылок и чувствительных данных.
- Перед внешним действием: preview и подтверждение человеком.
- На уровне среды: sandbox, сетевые ограничения, секреты и лимиты ресурсов.
Главное ограничение
Промпт «никогда не делай X» — полезная инструкция, но не граница безопасности. Авторизацию, разделение прав и необратимые действия нужно контролировать детерминированным кодом вне модели.
Guardrails снижают риск, но могут ошибаться в обе стороны: пропускать опасное и блокировать допустимое. Поэтому нужны тесты, журналирование и безопасный сценарий отказа.
Связанные заметки
- Harness
- Indirect Prompt Injection
- Протоколы Автономности
- Structured Output
- Observability and Tracing