Autonomie verdient sich jede Entscheidungsklasse einzeln

Ein Agent in der Auftragsbearbeitung trifft rund ein Dutzend verschiedener Arten von Entscheidungen. Er liest eine Lieferadresse. Er ordnet die Produktbeschreibung eines Kunden einem Katalogartikel zu. Er prüft einen Preis gegen eine Rahmenvereinbarung. Er akzeptiert einen Ersatzartikel für ein auslaufendes Produkt. Drei Monate nach dem Start eines solchen Agenten stellte der Sponsor die Frage, die jeder Sponsor irgendwann stellt: Der Agent liegt fast immer richtig, die Freigaben bremsen das Team, wann können wir sie also abschalten?

Die Frage behandelt Autonomie wie eine Einstellung am Agenten. Manche dieser Entscheidungen waren seit Wochen in jedem geprüften Fall richtig und ließen sich in Sekunden rückgängig machen. Andere waren ebenso oft richtig, gingen aber eine Verpflichtung gegenüber dem Kunden ein, auf die er sich berufen konnte. Ein einziger Schalter hätte beide gleich behandelt.

Unsere Antwort war ein Stufenmodell. Heute führt der Sponsor dieses Gespräch selbst.

Autonomie gilt je Entscheidungsklasse

Eine Entscheidungsklasse fasst Entscheidungen so eng zusammen, dass alle Fälle darin gleich schwierig sind und gleich viel auf dem Spiel steht. „Eine Produktbeschreibung einem Katalogartikel zuordnen“ ist eine Klasse. „Einen Ersatzartikel akzeptieren“ ist eine andere. Die Klassen werden vor der Entwicklung in der Prozesslandkarte festgelegt, und jede Entscheidung des Agenten wird in der Vorgangsakte mit ihrer Klasse gekennzeichnet.

Autonomie ist eine Eigenschaft der einzelnen Klasse, dokumentiert mit dem Datum der Erteilung, den Nachweisen dahinter und der Person, die zugestimmt hat. Der Agent als Ganzes hat keine Autonomiestufe. Die Frage, ob der Agent unbeaufsichtigt laufen darf, ist wie die Frage, ob das Finanzteam Zahlungen freigeben darf. Welche Zahlungen?

Das Modell hat fünf Stufen

1. Vorschlagen. Der Agent macht einen Vorschlag, ein Mensch erledigt die Arbeit. Für neue Klassen und für Entscheidungen, bei denen der Agent vor allem Lesezeit sparen soll.
2. Entwerfen. Der Agent legt die Änderung im Zielsystem als Entwurf an, ein Mensch prüft und gibt sie frei.
3. Mit Freigabe handeln. Der Agent führt aus, nachdem ein Mensch eine Entscheidungsvorlage freigegeben hat. Die Freigabe ist eine Entscheidung, keine Nacharbeit, und deshalb schneller als die Prüfung eines Entwurfs.
4. Handeln und berichten. Der Agent führt aus, eine benannte Person prüft täglich einen Bericht über seine Aktionen und kann jede davon rückgängig machen.
5. Eigenständig handeln. Der Agent führt aus, und niemand sieht hin, abgesehen von Stichproben und Monitoring.

Anthropic rät in seinem Leitfaden für wirksame Agenten (Dezember 2024) zur einfachsten Lösung, die funktioniert, und zu Autonomie nur dort, wo sie wirklich gebraucht wird. Das Stufenmodell macht daraus eine Entscheidung, die eine verantwortliche Führungskraft im Fachbereich treffen und begründen kann.

Die Stufe wird technisch durchgesetzt, nicht per Prompt

Steht die Stufe nur in den Anweisungen des Agenten, ist sie eine Empfehlung. Setzt die Architektur sie durch, ist sie eine Kontrolle. Die Stufe jeder Klasse ist deshalb ein Konfigurationseintrag außerhalb des Agenten, und dieser Eintrag legt fest, welche Tools der Agent für diese Klasse überhaupt erhält. Auf der Stufe „vorschlagen“ bekommt er nur lesende Tools. Auf „entwerfen“ ein Tool, das Entwürfe anlegt, aber keines, das sie freigibt. Auf „mit Freigabe handeln“ verlangt das ausführende Tool ein Freigabe-Token, das ausschließlich über die Entscheidungsvorlage erzeugt wird und an diesen Vorgang und diese Version des Vorschlags gebunden ist. Erst ab „handeln und berichten“ darf der Agent das ausführende Tool direkt aufrufen.

Eine Klasse höherzustufen bedeutet also, diesen Eintrag zu ändern, über den Change-Prozess des Kunden und in der Historie nachvollziehbar. Per Prompt-Änderung kann niemand eine Klasse höherstufen, und der Agent kann sich keine höhere Stufe erschleichen, weil ihm das nötige Tool schlicht fehlt.

Ein Aufstieg setzt vier Bedingungen voraus

Eine Klasse steigt eine Stufe auf, wenn vier Bedingungen erfüllt sind und der Prozessverantwortliche schriftlich zustimmt.

• Genauigkeit bei aktuellen Fällen. Gemessen an kürzlich geprüften Fällen, nicht am Abnahmedatensatz. Notwendig, aber die schwächste der vier Bedingungen.
• Begrenzte Tragweite. Die Kosten des schlimmsten realistischen Fehlers sind bekannt, und es gibt ein erprobtes Verfahren, ihn rückgängig zu machen. Eine Klasse, deren Fehler sich nicht korrigieren lassen, etwa eine Zahlung, die die Bank bereits ausgeführt hat, bleibt auf „mit Freigabe handeln“.
• Eine nachgelagerte Kontrolle. Etwas im weiteren Prozess deckt einen Fehler auf, den kein Prüfer mehr sieht: eine Abstimmung, eine Kundenbestätigung, ein Tagesbericht. Fehlt diese Kontrolle, macht ein Aufstieg Fehler nur unsichtbar.
• Ein Verantwortlicher. Eine namentlich benannte Person übernimmt die Verantwortung für die Klasse auf ihrer neuen Stufe.

Eine Klasse kann in jedem geprüften Fall richtig liegen und trotzdem noch nicht aufsteigen dürfen, etwa weil nur einfache Fälle geprüft wurden oder weil der seltene Fehler teuer wäre und unentdeckt bliebe. Die Nachweise lassen sich automatisch sammeln, die Entscheidung trifft ein Mensch. Und der Agent schlägt nie selbst vor, höhergestuft zu werden.

Die Rückstufung folgt einer Regel, nicht einer Sitzung

Eine Klasse fällt automatisch eine Stufe zurück, wenn ein bestätigter Fehler auftritt, den kein Prüfer mehr gesehen hat, wenn sich ihre Eingangsdaten verändern (ein neues Belegformat, ein neues Kundensegment, ein neuer Markt) oder wenn ihre nachgelagerte Kontrolle ausfällt.

Ein Modell-Upgrade oder eine Änderung am Regelwerk stuft jede Klasse auf „mit Freigabe handeln“ zurück, bis sie sich erneut qualifiziert hat. Diese Regel mögen Sponsoren am wenigsten und schätzen sie am Ende am meisten. Sie verhindert, dass eine Verbesserung unbemerkt Autonomie aufbraucht, die sich ein anderes System verdient hat.

Nachweise veralten auch dann, wenn sich nichts ändert. Jede Stufe oberhalb von „entwerfen“ hat ein Prüfdatum. Verstreicht es, fällt die Klasse eine Stufe zurück. Autonomie, die ein Jahr lang niemand überprüft hat, wurde für ein Geschäft erteilt, das es in dieser Form nicht mehr gibt.

Die meisten Klassen landen in der Mitte

In den operativen Bereichen, in denen wir arbeiten, landen die meisten Klassen bei „entwerfen“, „mit Freigabe handeln“ oder „handeln und berichten“. „Eigenständig handeln“ ist selten. Wir behalten es Klassen vor, die umkehrbar sind und laufend abgestimmt werden, etwa die Zuordnung einer Kontoauszugszeile zu einem offenen Posten, bei der jeder Fehler im nächsten Abstimmungslauf auffällt.

Das ist keine übertriebene Vorsicht. Der Nutzen eines Agenten im operativen Geschäft entsteht selten dadurch, dass die letzte Sekunde menschlicher Aufmerksamkeit wegfällt. Er entsteht dadurch, dass der Agent das Lesen, Prüfen und Vorbereiten übernimmt, sodass die verbleibende Aufmerksamkeit kurz und gezielt eingesetzt wird. Eine Klasse auf „mit Freigabe handeln“ kostet einen Prüfer mit einer guten Entscheidungsvorlage wenige Sekunden pro Fall. Wer sie auf „eigenständig handeln“ setzt, spart diese Sekunden und beseitigt die einzige Stelle, an der jemand bemerken würde, dass sich die Lage geändert hat.

Zwei Dinge lehnen wir ab. Erstens einen globalen Autonomieschalter, auch im Pilotprojekt, denn am Ende steigen die folgenreichsten Entscheidungen zusammen mit den einfachsten auf. Zweitens Höherstufungen während des Abschlusses oder in der Hochsaison. Eine Änderung der Autonomie ist eine Prozessänderung und sollte dann live gehen, wenn die Menschen, die ein Problem bemerken würden, auch Zeit dafür haben.

Die Antwort an den Sponsor

Wann können wir die Freigaben abschalten? Für manche Entscheidungen jetzt, und hier sind die Nachweise. Für manche nach einem weiteren Monat mit echten Fällen. Für manche nie, und hier ist der Grund.