Wenn KI-Agenten selbstständig handeln: Was Unternehmen jetzt wissen sollten

Je mehr Handlungsspielraum solche Systeme bekommen, desto wichtiger wird die Frage, wie zuverlässig sich ihre Grenzen kontrollieren lassen. Ein Vorfall während eines Sicherheitstests von OpenAI hat dazu eine neue Debatte ausgelöst. Gemeinsam mit Prof. Dr. Vanessa Just vom KI Bundesverband schauen wir darauf, was passiert ist und was Unternehmen daraus für den Einsatz eigener KI-Agenten ableiten sollten.

Die Fragen im Überblick

• Was ist bei OpenAI passiert?
• Wie „selbständig“ waren die KI-Agenten tatsächlich?
• Ist der Vorfall ein Ausnahmefall oder zeigt er ein grundsätzliches Risiko?
• Können auch selbst entwickelte Unternehmens-Agenten vorgesehene Grenzen überschreiten?
• Was sollten Unternehmen beachten, bevor sie KI-Agenten mehr Handlungsspielraum geben?
• Braucht es neue Regeln für autonome Agenten?

Was ist bei OpenAI und Hugging Face {passiert?}

OpenAI wollte in einem Sicherheitstest herausfinden, wie gut KI-Agenten Sicherheitslücken erkennen und ausnutzen können. Dafür arbeitete eine große Zahl von Agenten parallel an einzelnen Cybersecurity-Aufgaben. Eigentlich sollte jeder Agent isoliert arbeiten und sich an klar definierte Vorgaben halten. Allerdings war ein Teil dieser Aufgaben mit dem vorgesehenen Lösungsweg offenbar gar nicht zu bewältigen. Einige Agenten suchten deshalb nach Umwegen, um ihr Ziel dennoch zu erreichen.

Dabei stellten sie fest, dass sie über gemeinsam genutzte technische Infrastruktur Informationen über andere Agenten erhalten konnten. Einer der Agenten richtete ein nicht vorgesehenes Nachrichtenforum ein. Weitere Agenten fanden diesen Kommunikationskanal und begannen, Informationen, Dateien und Lösungsansätze auszutauschen. Am Ende beteiligten sich rund 1.200 Agenten an dieser Kommunikation; mehr als 70.000 Nachrichten und Dateien wurden ausgetauscht. Rund 700 Agenten waren später an Aktivitäten beteiligt. Ein Agent stieß dabei auf öffentlich zugängliche Zugangsdaten zu Hugging Face und teilte sie mit anderen Agenten. Über diese und weitere Schwachstellen gelangten Agenten schließlich auf Systeme der Plattform und konnten dort Aktionen ausführen, die nicht Teil ihres ursprünglichen Auftrags waren.

Wichtig für die Einordnung: Das Ganze geschah nicht in einer normalen Produktumgebung. OpenAI testete unter besonderen Bedingungen, mit reduzierten Schutzmechanismen und überwiegend mit einem internen Forschungsmodell. Der Vorfall zeigt deshalb nicht, dass alltägliche KI-Assistenten ohne Weiteres technische Grenzen überwinden können. Er zeigt aber, dass sehr leistungsfähige Agenten unter bestimmten Bedingungen Wege finden können, die ihre Entwickler*innen nicht vorgesehen hatten.

Haben sich die KI-Agenten tatsächlich {selbstständig} organisiert?

Zumindest in einem technischen Sinn lässt sich das so beschreiben. Es gab keine menschliche Anweisung, ein gemeinsames Kommunikationssystem aufzubauen oder größere Arbeitsgruppen zu bilden. Die Agenten fanden den Kommunikationskanal, tauschten Erkenntnisse aus und bauten auf Erkenntnissen anderer Agenten auf. Einige Arbeitsstränge umfassten Dutzende oder sogar Hunderte Agenten.

Allerdings sollte man Begriffe wie „Organisation“ oder „Zusammenarbeit“ nicht vorschnell menschlich interpretieren. KI-Agenten haben keine Teamkultur oder gemeinsame Interessen im menschlichen Sinn. Sie sind aber darauf ausgelegt, zielgerichtet zu handeln, mehrere Schritte zu planen und – je nach System – auch mit anderen Agenten zusammenzuarbeiten.

Die Zusammenarbeit mehrerer KI-Agenten sei grundsätzlich gar nichts Neues, sondern bekannt, schildert Prof. Dr. Vanessa Just vom KI Bundesverband. Außergewöhnlich sei allerdings gewesen, dass „eigentlich getrennte Agenten eigenständig unerlaubte Kommunikationswege nutzten, Zugangsdaten untereinander teilten und auf den Ergebnissen anderer Testläufe aufbauten“. Qualitativ neu seien die zugrunde liegenden Fähigkeiten aus Sicht des KI Bundesverbandes nicht. „Neu ist ihre Kombination in einem realen Vorfall: Ihr Zusammenspiel kann Risiken erzeugen, die bei der Betrachtung eines einzelnen Agenten unterschätzt werden.“

Ist der Vorfall ein {Ausnahmefall} oder zeigt er ein grundsätzliches Risiko?

Der konkrete Vorfall lässt sich aufgrund seiner Rahmenbedingungen nicht eins zu eins auf den normalen Unternehmenseinsatz übertragen. „Über die Wahrscheinlichkeit ähnlicher Vorfälle im Unternehmensalltag sagt er wenig aus“, so Just.

Übertragbar sei aber: Unternehmen müssten das Gesamtsystem aus Modell, Werkzeugen und Berechtigungen prüfen, nicht nur das Modell. „Der Einstieg gelang nicht über neuartige KI-Fähigkeiten, sondern über öffentlich auffindbare Zugangsdaten, also über eine klassische Schwachstelle“, erklärt die KI-Expertin.

Neu sei, dass diese Schwachstelle automatisiert, schnell und mit den weitreichenden Rechten ausgenutzt wurde, die dem System eingeräumt waren. Das hätte sich mit klassischen Mitteln verhindern lassen. „Dass ein Agent eine solche Lücke findet und nutzt, lässt sich nie ganz ausschließen. Beherrschbar bleibt das nur, wenn ihm das Gesamtsystem gar nicht erst so weitreichende Rechte einräumt.“

Können auch selbst entwickelte Unternehmens-Agenten ihre {vorgesehenen Grenzen} überschreiten?

Grundsätzlich ja – und dafür braucht es kein eigenes KI-Modell. Es genügt, ein bestehendes Modell zu nutzen und darauf einen eigenen Agenten aufzubauen, etwa einen Agenten, der E-Mails bearbeitet, Informationen aus verschiedenen Systemen zusammenträgt oder Aufgaben in einer Unternehmenssoftware ausführt.

Wie sicher dieser Agent ist, hängt dann nicht nur vom verwendeten Modell ab. Entscheidend ist auch die Architektur darum herum: Auf welche Daten darf er zugreifen? Welche Programme und Schnittstellen kann er nutzen? Darf er nur lesen oder auch schreiben, löschen und versenden? Kann er Code ausführen? Und wann muss ein Mensch eine Aktion freigeben?

„Für Unternehmen liegt das besser beherrschbare Risiko in der Architektur rund um das Modell“, sagt Vanessa Just. Ein Agent könne etwa durch Prompt Injection (manipulierte Anweisungen, die er für einen Teil seines Auftrags hält) zu unerwünschten Aktionen veranlasst werden oder unerwartete Wege wählen, um sein Ziel zu erreichen. Das Ausmaß möglicher Schäden hänge jedoch maßgeblich von Schnittstellen, Zugriffsrechten und Ausführungsumgebungen ab.

Was sollten Unternehmen {beachten,} bevor sie KI-Agenten mehr Handlungsspielraum geben?

Eine zentrale Regel lautet: Ein Agent sollte nicht automatisch alles dürfen, was technisch möglich ist. Je sensibler eine Aktion ist, desto wichtiger werden begrenzte Zugriffsrechte, Monitoring und gegebenenfalls eine menschliche Freigabe.

Auch der Grad der Autonomie sollte zur Aufgabe passen. Für manche Anwendungen reicht es, wenn ein Agent Informationen sammelt und einen Vorschlag macht. Bei anderen darf er vielleicht selbstständig einen Prozess anstoßen. Ob er dagegen eigenständig Zahlungen auslösen, Kundendaten verändern oder Softwarecode produktiv einsetzen sollte, ist eine ganz andere Sicherheitsfrage.

Für die Umsetzung empfiehlt Just konkrete technische Leitplanken. Agenten sollten eigene, eindeutig zuordenbare Identitäten mit kurzlebigen Zugangsdaten erhalten. Ihr Zugriff müsse auf die für den konkreten Auftrag erforderlichen Daten, Funktionen und Netzwerkverbindungen begrenzt sein. Diese Grenzen müssten außerhalb des Modells technisch durchgesetzt werden.

„Vor dem produktiven Einsatz sind realistische Sicherheitstests erforderlich, ausdrücklich auch mit manipulierten Eingaben“, konkretisiert Just. „Im laufenden Betrieb braucht es eine nachvollziehbare Protokollierung, kontinuierliche Überwachung und die Möglichkeit, Zugriffe unmittelbar zu sperren. Für folgenreiche Aktionen wie Zahlungen, Datenlöschungen oder Änderungen an Berechtigungen sollten risikogerechte menschliche Freigaben vorgesehen sein.“

Leitplanken für {KI-Agenten} auf einen Blick

• Autonomiegrad an die Aufgabe anpassen: vorschlagen, anstoßen oder selbst ausführen
• Eigene, eindeutig zuordenbare Identitäten mit kurzlebigen Zugangsdaten
• Zugriff begrenzt auf die für den konkreten Auftrag erforderlichen Daten, Funktionen und Netzwerkverbindungen
• Grenzen außerhalb des Modells technisch durchsetzen
• Vor dem produktiven Einsatz: realistische Sicherheitstests, ausdrücklich auch mit manipulierten Eingaben
• Im laufenden Betrieb: nachvollziehbare Protokollierung, kontinuierliche Überwachung und die Möglichkeit, Zugriffe unmittelbar zu sperren
• Risikogerechte menschliche Freigaben bei folgenreichen Aktionen wie Zahlungen, Datenlöschungen oder Änderungen an Berechtigungen

Braucht es {neue Regeln} für autonome Agenten?

Wenn KI-Systeme immer selbstständiger handeln, wird es schwieriger, Verantwortung abzugrenzen: Was muss bereits der Anbieter des zugrunde liegenden Modells absichern? Welche Verantwortung trägt das Unternehmen, das daraus einen Agenten baut? Und welche Regeln braucht es für besonders weitreichende oder sensible Einsatzbereiche?

Die EU-KI-Verordnung und bestehende Sicherheitsleitlinien böten bereits wichtige Grundlagen, sagt Just. Für autonome Agenten brauche es jedoch konkretere Maßstäbe zur Identifikation, zur Weitergabe von Berechtigungen und zur Prüfung ihres Zusammenspiels. Auch Verantwortlichkeit und Haftung zwischen Modellanbietern, Integratoren und Betreibern müssten klar nachvollziehbar sein.

Aus Sicht des KI Bundesverbands hätten eine einfache Umsetzung bestehender Regeln und praxistaugliche technische Standards Vorrang. „Ein Vorfall wie dieser ist kein Automatismus für neue Regulierung“, sagt Just. Zuerst sollten die bestehenden Regeln konsequent umgesetzt und ihre Wirkung evaluiert werden, erst dann lasse sich gezielt nachsteuern. Gerade kleinere Unternehmen bräuchten verständliche Leitlinien und schlanke Nachweisverfahren. Zusätzliche Vorgaben sollten nur nachweisbare Regelungslücken schließen, Doppelpflichten vermeiden und den sicheren Einsatz von Agenten erleichtern.

Fazit

Der Vorfall zeigt weniger ein neues Problem als ein bekanntes in neuer Dimension: Wer KI-Agenten einsetzt, sollte Identitäten, Zugriffsrechte und Kontrollen so gestalten, dass der Handlungsspielraum zur Aufgabe passt – und dass Grenzen technisch durchgesetzt werden, nicht nur per Anweisung.