Sistemas autônomos precisam de mais do que segurança de perímetro. Precisam de política, rastreabilidade, verificação e contenção de falhas.
Agentes e motores acessam apenas os dados e as ferramentas que uma tarefa exige. As permissões têm escopo por requisição e expiram com a tarefa, de modo que um único passo comprometido não consegue alcançar o sistema mais amplo.
Ações importantes produzem registros inspecionáveis e reproduzíveis de raciocínio e execução. Cada decisão pode ser reconstruída passo a passo, transformando depuração e auditoria em leitura de histórico, não em adivinhação.
Ações arriscadas são limitadas por políticas, limiares, aprovações e caminhos de rollback antes de rodar. Os limites são impostos no momento da execução, não deixados como orientação, de modo que ações inseguras são bloqueadas, não apenas registradas.
Os sistemas de IA introduzem novos modos de falha: prompt injection, uso indevido de ferramentas, divulgação não intencional de dados, ações alucinadas, contexto desatualizado e autonomia ilimitada.
Entradas não confiáveis tentam manipular o comportamento do modelo ou o acesso a ferramentas.
Um agente com permissões excessivas pode transformar um pequeno erro de raciocínio em uma ação no mundo real.
Modelos, ferramentas, pacotes e conectores devem ser versionados, auditados e monitorados.
Uma boa infraestrutura autônoma torna as ações permitidas explícitas e as ações inseguras difíceis.