Los sistemas autónomos necesitan más que seguridad perimetral. Necesitan políticas, trazabilidad, verificación y contención de fallos.
Los agentes y los motores solo acceden a los datos y las herramientas que requiere una tarea. Los permisos se acotan por solicitud y caducan con la tarea, así un único paso comprometido no puede alcanzar el sistema completo.
Las acciones importantes producen registros inspeccionables y reproducibles del razonamiento y la ejecución. Cada decisión puede reconstruirse paso a paso, convirtiendo la depuración y la auditoría en lectura de historial, no en conjeturas.
Las acciones de riesgo están limitadas por políticas, umbrales, aprobaciones y vías de reversión antes de ejecutarse. Los límites se aplican en tiempo de ejecución, no se dejan como una guía, así las acciones inseguras se bloquean, no solo se registran.
Los sistemas de IA introducen nuevos modos de fallo: inyección de prompts, uso indebido de herramientas, divulgación involuntaria de datos, acciones alucinadas, contexto obsoleto y autonomía sin límites.
Entradas no confiables intentan manipular el comportamiento del modelo o el acceso a las herramientas.
Un agente con permisos excesivos puede convertir un pequeño error de razonamiento en una acción con consecuencias reales.
Los modelos, las herramientas, los paquetes y los conectores deben versionarse, auditarse y monitorizarse.
Una buena infraestructura autónoma hace explícitas las acciones permitidas y difíciles las acciones inseguras.