I sistemi autonomi hanno bisogno di più della sicurezza perimetrale. Servono policy, tracciabilità, verifica e contenimento dei guasti.
Agenti e motori accedono solo ai dati e agli strumenti che un'attività richiede. I permessi sono limitati a ogni richiesta e scadono con l'attività, così un singolo passaggio compromesso non può raggiungere il sistema più ampio.
Le azioni importanti producono record ispezionabili e ripetibili di ragionamento ed esecuzione. Ogni decisione può essere ricostruita passo dopo passo, trasformando debugging e audit nella lettura di una cronologia, non in congetture.
Le azioni rischiose sono vincolate da policy, soglie, approvazioni e percorsi di rollback prima di essere eseguite. I limiti vengono applicati al momento dell'esecuzione, non lasciati come indicazioni, così le azioni non sicure vengono bloccate, non solo registrate.
I sistemi di IA introducono nuove modalità di guasto: prompt injection, uso improprio degli strumenti, divulgazione involontaria dei dati, azioni allucinate, contesto obsoleto e autonomia illimitata.
Input non attendibili tentano di manipolare il comportamento del modello o l'accesso agli strumenti.
Un agente con permessi eccessivi può trasformare un piccolo errore di ragionamento in un'azione nel mondo reale.
Modelli, strumenti, pacchetti e connettori devono essere versionati, sottoposti ad audit e monitorati.
Una buona infrastruttura autonoma rende esplicite le azioni consentite e difficili quelle non sicure.