Autonome Systeme brauchen mehr als Perimeter-Sicherheit. Sie brauchen Richtlinien, Nachvollziehbarkeit, Verifizierung und Fehlereindämmung.
Agenten und Engines greifen nur auf die Daten und Tools zu, die eine Aufgabe erfordert. Berechtigungen sind pro Anfrage begrenzt und verfallen mit der Aufgabe, sodass ein einzelner kompromittierter Schritt nicht das gesamte System erreichen kann.
Wichtige Aktionen erzeugen überprüfbare, wiederabspielbare Aufzeichnungen von Reasoning und Ausführung. Jede Entscheidung lässt sich Schritt für Schritt rekonstruieren – Debugging und Audit werden zum Lesen von Historie statt zum Rätselraten.
Riskante Aktionen werden durch Richtlinien, Schwellenwerte, Freigaben und Rollback-Pfade beschränkt, bevor sie laufen. Grenzen werden zur Ausführungszeit durchgesetzt, nicht nur als Leitlinie hinterlassen, sodass unsichere Aktionen blockiert und nicht bloß protokolliert werden.
KI-Systeme bringen neue Fehlermodi mit sich: Prompt Injection, Missbrauch von Werkzeugen, unbeabsichtigte Datenpreisgabe, halluzinierte Aktionen, veralteter Kontext und unbegrenzte Autonomie.
Nicht vertrauenswürdige Eingaben versuchen, das Modellverhalten oder den Werkzeugzugriff zu manipulieren.
Ein Agent mit übermäßigen Berechtigungen kann aus einem kleinen Denkfehler eine reale Aktion machen.
Modelle, Werkzeuge, Pakete und Konnektoren müssen versioniert, geprüft und überwacht werden.
Gute autonome Infrastruktur macht erlaubte Aktionen explizit und unsichere Aktionen schwierig.