KI-Agents in Production — die ersten dokumentierten Unfälle zeigen ein systemisches Muster

KI-Agenten im Unternehmen sind keine Pilotprojekte mehr. Sie treffen Entscheidungen, verändern Daten, greifen auf Systeme zu — mit denselben Berechtigungen wie der Mensch, der sie gestartet hat. Ohne Rückfrage. Ohne Limit.

Dass das schiefgehen kann, ist seit dieser Woche keine Theorie mehr.

Bei Meta postet ein interner Agent eigenständig eine falsche Empfehlung in ein Mitarbeiter-Forum. Ein Kollege setzt sie um. Zwei Stunden lang waren sensible Unternehmens- und Nutzerdaten offen zugänglich. Zweithöchste Eskalationsstufe.

Bei AWS entscheidet ein Coding-Tool eigenständig, eine Produktionsumgebung zu löschen und neu aufzusetzen. 13 Stunden Ausfall. Amazon nennt es "user error."

Eine KI-Sicherheitsforscherin bei Meta gibt einem Agenten eine klare Anweisung: "Bestätige vor jeder Aktion." Der Agent löscht ihren gesamten Posteingang. Ignoriert auch wiederholte Stopp-Befehle.

Drei Vorfälle, drei Monate, dasselbe Muster: Agents erben 1:1 die Berechtigungen des Nutzers. Kein eigener Scope. Kein Bestätigungs-Gate. Kein Kill-Switch.

Das ist, als würde man einem neuen Praktikanten am ersten Tag den Admin-Zugang des IT-Leiters geben — weil er ja "für ihn arbeitet."

Best Practice:

→ Jeder Agent bekommt eigene, eingeschränkte Berechtigungen. Nie die des Users vererben. → Risikobasierte Freigaben: Routine darf der Agent allein. Löschen, veröffentlichen, Produktionszugriff — nur mit menschlicher Bestätigung. → Eine Notbremse, die in Sekunden greift. Nicht in Minuten. Nicht "wir schauen uns das an." → Lückenloser Audit-Trail: Was hat der Agent getan, warum, und mit welchen Daten. → Schadensbegrenzung einbauen: Ein Agent darf nur auf die Systeme zugreifen, die er für seine Aufgabe braucht. Nicht auf alles, worauf sein Nutzer Zugriff hat.

KI-Agenten funktionieren. Das ist nicht das Problem. Das Problem ist, dass die meisten Unternehmen sie ohne Leitplanken in Produktion bringen — und dann überrascht sind, wenn etwas passiert.