Computer Use (Управление компьютером)
Определение
Computer use — режим работы агента, при котором модель анализирует состояние графического интерфейса и предлагает действия мышью, клавиатурой или браузером, а харнес выполняет их и возвращает новое наблюдение.
Типовой цикл
- Среда передаёт скриншот или структурированное состояние интерфейса.
- Модель выбирает действие и координаты либо элемент.
- Харнес проверяет допустимость и выполняет действие.
- Новое состояние возвращается модели.
- Цикл продолжается до результата, ошибки или лимита.
Почему это рискованнее API
GUI меняется, элементы могут сдвигаться, а содержимое страницы — содержать вредоносные инструкции. В отличие от типизированного API, клик способен попасть не в тот элемент без явной ошибки схемы.
Минимальные меры
- отдельная виртуальная машина или контейнер без личных сессий;
- allowlist сайтов и запрет произвольных загрузок;
- подтверждение перед отправкой, покупкой, публикацией и удалением;
- запрет работы с паролями и платёжными данными без специального контура;
- скриншоты и trace для аудита;
- лимиты шагов, времени и повторов.