Автономным системам нужно нечто большее, чем защита периметра. Им нужны политики, прослеживаемость, верификация и локализация сбоев.
Агенты и движки получают доступ только к данным и инструментам, необходимым для задачи. Права назначаются на каждый запрос и истекают вместе с задачей, поэтому один скомпрометированный шаг не дотянется до всей системы.
Важные действия формируют пригодные для анализа, воспроизводимые записи рассуждений и исполнения. Каждое решение можно восстановить шаг за шагом, превращая отладку и аудит в чтение истории, а не в догадки.
Рискованные действия ограничиваются политиками, пороговыми значениями, согласованиями и путями отката до запуска. Ограничения применяются во время исполнения, а не остаются рекомендацией, поэтому небезопасные действия блокируются, а не просто логируются.
Системы ИИ создают новые сценарии сбоев: внедрение в промпт, неправомерное использование инструментов, непреднамеренное раскрытие данных, галлюцинированные действия, устаревший контекст и неограниченная автономность.
Недоверенные входные данные пытаются повлиять на поведение модели или доступ к инструментам.
Агент с избыточными правами способен превратить небольшую ошибку рассуждения в реальное действие.
Модели, инструменты, пакеты и коннекторы должны версионироваться, проходить аудит и мониторинг.
Качественная автономная инфраструктура делает разрешённые действия явными, а небезопасные — трудновыполнимыми.