Les systèmes autonomes exigent plus qu'une sécurité périmétrique. Ils ont besoin de politiques, de traçabilité, de vérification et de confinement des défaillances.
Les agents et les moteurs n'accèdent qu'aux données et aux outils qu'une tâche exige. Les permissions sont cadrées par requête et expirent avec la tâche, si bien qu'une seule étape compromise ne peut atteindre l'ensemble du système.
Les actions importantes produisent des enregistrements inspectables et rejouables du raisonnement et de l'exécution. Chaque décision peut être reconstruite pas à pas, transformant le débogage et l'audit en lecture de l'historique, et non en conjecture.
Les actions à risque sont encadrées par des politiques, des seuils, des validations et des chemins de retour arrière avant leur exécution. Les limites sont appliquées au moment de l'exécution, et non laissées à titre indicatif, si bien que les actions dangereuses sont bloquées, et pas seulement journalisées.
Les systèmes d'IA introduisent de nouveaux modes de défaillance : injection de prompt, mauvais usage des outils, divulgation involontaire de données, actions hallucinées, contexte obsolète et autonomie sans limites.
Une entrée non fiable tente de manipuler le comportement du modèle ou l'accès aux outils.
Un agent doté de permissions excessives peut transformer une petite erreur de raisonnement en une action concrète.
Les modèles, outils, paquets et connecteurs doivent être versionnés, audités et surveillés.
Une bonne infrastructure autonome rend les actions autorisées explicites et les actions dangereuses difficiles.