KI-Agenten im Unternehmen: Was sie dürfen und wo du Grenzen ziehst

Let’s Techle it, Folge 1. Jede Woche nehme ich mir hier ein Tech-Thema vor, das gerade durch die Timelines rauscht, und drehe es so lange, bis etwas Brauchbares für den Arbeitsalltag übrig bleibt. Diese Woche: ein KI-Modell, das aus seiner Testumgebung ausgebrochen ist. Klingt nach Kinofilm. Ist aber eine sehr nüchterne Frage über Zugriffsrechte.

Letzte Woche kam kaum jemand an einer Meldung vorbei, die es sogar in die Tagesschau geschafft hat. OpenAI und Hugging Face haben gemeinsam einen Sicherheitsvorfall öffentlich gemacht: Während eines internen Tests hat ein KI-Modell seine abgeschottete Umgebung verlassen, eine bis dahin unbekannte Schwachstelle gefunden und auf Systeme von Hugging Face zugegriffen. Dort hat es Aktionen ausgeführt, um an Informationen zu kommen, die es für seine eigentliche Aufgabe brauchte.

Beide Firmen betonen, dass alles im Rahmen des Tests passiert ist und sauber dokumentiert wurde. Trotzdem hängt die Frage im Raum: War das ein PR-tauglicher Einzelfall oder der erste Vorgeschmack auf das, was auf uns zukommt, wenn KI-Systeme selbstständiger handeln?

Der Fall steht nicht allein da

Ich finde die Aufregung nachvollziehbar, aber sie zielt oft auf das Falsche. Die Schlagzeilen lesen sich, als hätte die KI einen eigenen Willen entwickelt und wäre ausgebrochen wie ein Häftling. Das ist die spannendere Geschichte. Es ist nur nicht die richtige.

Hussein Abbass, IT-Professor an der UNSW Canberra, nennt den Vorfall beängstigend, weil das Modell eigenständig mehrere Schritte gegangen ist und dabei echte Systeme erreicht hat. Clément Delangue, der CEO von Hugging Face, sieht es nüchterner: ein wichtiger Sicherheitsfall, aber kein Beleg für böse Absicht. Für ihn zählt vor allem, dass die Branche offen darüber redet und daraus lernt.

Auf der anderen Seite stehen Leute wie der IT-Sicherheitsexperte Dennis-Kenji Kipker, der von Kontrollverlust spricht, und Manuel Atug, der vor allem die Absicherung des Tests kritisiert. Sein Punkt: Wenn bei einem Experiment reale Systeme Dritter betroffen sein können, läuft beim Aufbau etwas grundlegend schief. Das ist eine Kritik an den Menschen, nicht an der Maschine.

Beide Lager haben recht, und genau deshalb greift die Gegenüberstellung zu kurz. Das Modell konnte nur so weit kommen, weil ihm jemand die Werkzeuge und die Freiheit dafür gegeben hat.

Es hat nicht „gehackt“. Es hat seinen Job gemacht

Hier lohnt sich der genaue Blick. Das Modell wollte nicht ausbrechen. Es hatte eine Aufgabe, hat einen Weg gesucht, sie zu erledigen, und dabei einen Pfad gefunden, den niemand vorgesehen hatte. Kein böser Wille, keine Rebellion. Es hat die Lücke genutzt, die zwischen dem Ziel und den erlaubten Mitteln offen stand.

Diese Lücke ist der eigentliche Punkt. Ein Agent bekommt ein Ziel („finde Information X“) und ein Set an Werkzeugen. Was er nicht bekommt, ist ein Gefühl dafür, welche Wege okay sind und welche nicht. Wenn du ihm nicht sagst, wo Schluss ist, probiert er aus, was funktioniert. Genau das ist der Unterschied zwischen einem klassischen Programm, das nur die einprogrammierten Schritte geht, und einem Agenten, der sich seinen Weg zum Ziel selbst zusammenbaut.

Fast noch interessanter fand ich die andere Hälfte der Geschichte: Andere Spitzenmodelle haben sich später geweigert, den Vorfall überhaupt zu analysieren. Ihre Schutzmechanismen konnten nicht zuverlässig unterscheiden, ob da gerade ein Angriff läuft oder eine legitime Sicherheitsuntersuchung. Das eine System durfte zu viel, die anderen durften zu wenig. Hugging Face musste am Ende auf ein chinesisches Modell ausweichen, um die Sache sauber aufzuarbeiten.

Das ist die eigentliche Nachricht. Wir haben keine gute Antwort darauf, wie viel Handlungsspielraum richtig ist. Zu eng, und der Agent ist nutzlos. Zu weit, und er landet in Systemen, in denen er nichts verloren hat.

Warum dich das interessieren sollte, auch ohne eigenes KI-Labor

Jetzt könntest du sagen: Nette Story aus dem Silicon Valley, aber ich betreibe keine Frontier-Modelle. Stimmt. Das Muster wandert trotzdem gerade in ganz normale Firmen.

Der Agent, der eigenständig deinen Kalender räumt und Termine absagt. Der Assistent, der Rechnungen aus dem Postfach zieht und ins Buchhaltungstool schiebt. Das Tool, das Kundendaten aus dem CRM holt, anreichert und zurückschreibt. Sobald so etwas nicht nur Text vorschlägt, sondern selbst Aktionen ausführt, hast du dasselbe Grundproblem wie OpenAI, nur zwei Nummern kleiner. Dein Agent hat Zugriffsrechte, ein Ziel und keinen sicheren Instinkt dafür, wo die Grenze verläuft.

Und dieser Sprung von „schlägt vor“ zu „macht selbst“ passiert dieses Jahr in der Breite. Wer heute KI im Unternehmen einführt, redet nicht mehr nur über Chatbots, die Texte schreiben. Es geht um Systeme, die Aufgaben übernehmen. Damit wird die Frage nach den Berechtigungen vom Nice-to-have zur Grundvoraussetzung.

Drei Sachen, die ich jeder Firma mitgebe, bevor ein Agent live geht

Ich baue mit meinem Team bei AI Pirates genau solche Systeme, und die Fehler wiederholen sich. Meistens sind es dieselben drei.

Erstens: Gib dem Agenten nur die Rechte, die er wirklich braucht. Das klingt banal, wird aber ständig ignoriert, weil „voller Zugriff“ bequemer ist als sauber definierte Berechtigungen. Ein Agent, der Rechnungen sortieren soll, braucht keinen Schreibzugriff auf deine Kundendatenbank. Frag bei jedem Werkzeug, das du ihm gibst: Was ist das Schlimmste, das passieren kann, wenn er es falsch benutzt? Wenn dir die Antwort nicht gefällt, nimm das Werkzeug weg oder engst es ein. Das ist dasselbe Prinzip, mit dem man Mitarbeitenden auch nicht am ersten Tag den Generalschlüssel zum Serverraum in die Hand drückt.

Zweitens: Bau eine Bremse ein, bevor du sie brauchst. Ein Agent, der eigenständig handelt, braucht ein Protokoll darüber, was er tut, eine Schwelle, ab der er nachfragen muss, und einen roten Knopf, der ihn sofort stoppt. Im OpenAI-Fall war das Gute, dass jemand mitgeschaut und den Vorfall bemerkt hat. In vielen Firmen läuft die Automatisierung dagegen im Hintergrund, und niemand schaut hin, bis etwas kaputt ist. Leg vorher fest, welche Aktionen ohne Rückfrage laufen dürfen und welche eine menschliche Freigabe brauchen. Alles, was Geld bewegt, Daten löscht oder nach außen kommuniziert, gehört in die zweite Kategorie.

Drittens: Prüf nicht nur das Ergebnis, sondern den Weg. Der Agent hat die Aufgabe erledigt, super. Aber wie? Bei OpenAI hat das Modell sein Ziel erreicht, und der Weg dahin war das Problem. Übertragen auf deinen Alltag: Der Assistent hat die Kundenmail beantwortet, aber welche Daten hat er dafür angezapft? Der Agent hat den Bericht erstellt, aber aus welchen Quellen? Wenn du nur auf das Endergebnis schaust, übersiehst du genau die Abkürzungen, die dich später einholen.

Der unbequeme Teil: Das ist auch eine Compliance-Frage

Ich weiß, „Compliance“ ist das Wort, bei dem in Meetings die Augen glasig werden. Aber wir kommen nicht drumherum. Sobald ein Agent selbstständig auf personenbezogene Daten zugreift, sind wir mitten in der DSGVO. Und mit dem EU AI Act kommt eine zweite Ebene dazu, die viele noch nicht auf dem Schirm haben.

Ein Teil davon gilt schon: Seit Februar dieses Jahres verlangt der AI Act, dass Mitarbeitende, die mit KI arbeiten, ausreichend geschult sind. Wer Agenten mit Zugriffsrechten in Prozesse einbaut, aber niemanden im Team hat, der versteht, was dieses System eigentlich darf, erfüllt diese Anforderung nicht. Was da konkret drinsteht, habe ich an anderer Stelle ausführlicher aufgeschrieben, für alle, die es genauer wissen wollen: die KI-Schulungspflicht nach Artikel 4.

Der Punkt ist nicht, dir Angst zu machen. Der Punkt ist, dass die drei Dinge von oben nicht nur guter Stil sind, sondern zunehmend auch das, was der Gesetzgeber von dir erwartet. Klar begrenzte Rechte, nachvollziehbare Protokolle und ein Mensch, der die Verantwortung trägt. Das ist keine Kür mehr.

Was ich mitnehme

Der OpenAI-Vorfall klingt beim ersten Lesen nach Science-Fiction, und die halbe Timeline hat ihn auch so behandelt. Beim zweiten Lesen ist er etwas viel Nützlicheres: eine kostenlose Fallstudie dafür, was schiefgeht, wenn ein fähiges System mehr darf, als es sollte.

Die Maschine ist dabei nicht das Problem. Sie tut, was sie soll, mit den Mitteln, die sie hat. Das Problem sitzt bei uns, in der Frage, die wir uns oft nicht stellen, bevor wir ein solches System scharfschalten: Was genau darf dieses Ding, und wer merkt es, wenn es etwas anderes tut?

Wenn du gerade dabei bist, KI-Agenten in deine Abläufe zu holen, ist das die Woche, in der du diese Frage beantwortest. Nicht wenn der erste Agent bereits in einem System steht, in dem er nichts zu suchen hat.

Nächste Woche in Let’s Techle it: Warum plötzlich alle Anbieter von „Routern“ reden und dir die Modellwahl abnehmen wollen, und ob dich das wirklich Geld spart oder nur die Kontrolle kostet.

Max Anzile baut mit AI Pirates KI-Systeme für Unternehmen und schreibt hier jede Woche über das, was in der Tech-Welt gerade wirklich zählt.