Een agent verdient autonomie per type beslissing

Een agent voor orderverwerking neemt zo'n tien soorten beslissingen. Hij leest een afleveradres. Hij koppelt de productomschrijving van een klant aan een artikel in de catalogus. Hij toetst een prijs aan de gemaakte afspraken. Hij accepteert een vervangend artikel voor een product dat uit het assortiment gaat. Drie maanden na de livegang stelde de sponsor de vraag die elke sponsor vroeg of laat stelt: de agent heeft bijna altijd gelijk en de goedkeuringen houden het team op, dus wanneer kunnen die eraf?

Die vraag behandelt autonomie als een instelling van de agent. Sommige van die beslissingen waren al wekenlang bij elk gecontroleerd geval juist en waren binnen seconden terug te draaien. Andere waren even vaak juist, maar legden het bedrijf vast op iets waar een klant het aan zou houden. Met één schakelaar waren ze allemaal hetzelfde behandeld.

Ons antwoord was een ladder. Inmiddels voert de sponsor dat gesprek er zelf mee.

Autonomie geldt per beslissingsklasse

Een beslissingsklasse is een type beslissing dat zo scherp is afgebakend dat alle gevallen erin even moeilijk zijn en even zware gevolgen hebben. "Koppel een productomschrijving aan een catalogusartikel" is een klasse. "Accepteer een vervangend artikel" is een andere. De klassen staan in de procesbeschrijving voordat de bouw begint, en elke beslissing van de agent wordt in het dossier met haar klasse vastgelegd.

Autonomie is een eigenschap van elke klasse afzonderlijk, vastgelegd met de datum van toekenning, het onderliggende bewijs en de persoon die akkoord gaf. De agent als geheel heeft geen autonomieniveau. Vragen of de agent zonder toezicht kan draaien, is net als vragen of het financeteam betalingen mag fiatteren. Welke betalingen?

De ladder heeft vijf treden

1. Voorstellen. De agent doet een voorstel; een medewerker voert het werk uit. Voor nieuwe klassen, en voor beslissingen waarbij de agent vooral leeswerk moet besparen.
2. Klaarzetten. De agent zet de wijziging als concept klaar in het doelsysteem; een medewerker controleert en geeft vrij.
3. Uitvoeren na goedkeuring. De agent voert uit nadat een medewerker een goedkeuringsverzoek heeft goedgekeurd. Goedkeuren is een beslissing, geen herstelwerk, en gaat daardoor sneller dan een concept nalopen.
4. Uitvoeren en rapporteren. De agent voert uit; een aangewezen medewerker bekijkt een dagrapport van zijn acties en kan elke actie terugdraaien.
5. Zelfstandig uitvoeren. De agent voert uit zonder dat iemand meekijkt, afgezien van steekproeven en monitoring.

Anthropic adviseert in zijn richtlijnen voor het bouwen van effectieve agents (december 2024) om de eenvoudigste opzet te kiezen die werkt en pas autonomie toe te voegen als dat nodig is. Met de ladder wordt "als dat nodig is" een besluit dat een business owner kan nemen en verantwoorden.

De architectuur bepaalt het niveau, niet de prompt

Staat het niveau alleen in de instructies van de agent, dan is het een suggestie. Dwingt de architectuur het af, dan is het een beheersmaatregel. Het niveau van elke klasse staat daarom in een configuratierecord buiten de agent, en dat record bepaalt welke tools de agent voor die klasse krijgt. Bij voorstellen kan de agent alleen lezen. Bij klaarzetten kan hij concepten aanmaken, maar niet vrijgeven. Bij uitvoeren na goedkeuring werkt de tool die de wijziging doorvoert alleen met een goedkeuringstoken. Dat token ontstaat pas als een medewerker het goedkeuringsverzoek goedkeurt, en het geldt alleen voor dat ene geval en die versie van het voorstel. Pas vanaf uitvoeren en rapporteren mag de agent die tool zelf gebruiken.

Een klasse naar een hoger niveau brengen betekent dus dat record wijzigen, via het wijzigingsproces van de klant en terug te vinden in de historie. Niemand kan dat regelen door een prompt aan te passen, en de agent kan zichzelf geen extra ruimte geven, want de tool die hij daarvoor nodig heeft, krijgt hij niet.

Een hoger niveau vraagt vier soorten bewijs

Een klasse gaat één niveau omhoog als aan vier voorwaarden is voldaan en de proceseigenaar daar schriftelijk mee instemt.

• Nauwkeurigheid op recente gevallen. Gemeten op gevallen die kort geleden zijn gecontroleerd, niet op de acceptatieset. Noodzakelijk, maar de minst belangrijke van de vier.
• Beperkte schade. Van de ergste fout die redelijkerwijs kan optreden, zijn de kosten bekend en is duidelijk hoe die terug te draaien is. Een klasse waarin fouten onomkeerbaar zijn, zoals een betaling die de bank al heeft uitgevoerd, komt nooit verder dan uitvoeren na goedkeuring.
• Een controle achteraf. Er is een controle die een fout alsnog vangt als de beoordelaar niet meer meekijkt: een aansluiting, een bevestiging van de klant, een dagrapport. Zonder zo'n controle maakt een hoger niveau fouten alleen onzichtbaar.
• Een eigenaar. Een aangewezen persoon wordt verantwoordelijk voor de klasse op het nieuwe niveau.

Ook als de agent in een klasse elk gecontroleerd geval goed had, kan die klasse nog niet klaar zijn voor een hoger niveau. Misschien waren de gecontroleerde gevallen de makkelijke, of is de zeldzame fout duur en valt ze niemand op. Het bewijs kan automatisch worden verzameld, het besluit niet. En de agent stelt nooit zelf voor om hoger te komen.

Terugzetten gaat volgens een regel, niet via een overleg

Een klasse zakt automatisch één niveau als er een fout wordt bevestigd die de beoordelaar niet meer te zien kreeg, als de invoer verandert (een nieuwe documentindeling, een nieuw klantsegment, een nieuwe markt), of als de controle achteraf wegvalt.

Een nieuw model of een wijziging in de regels zet elke klasse terug naar uitvoeren na goedkeuring, tot ze zich opnieuw heeft bewezen. Sponsors vinden deze regel het minst prettig en waarderen hem achteraf het meest. Hij voorkomt dat een verbeterde versie ongemerkt autonomie erft die een ander systeem heeft verdiend.

Bewijs veroudert ook als er niets verandert. Elk niveau boven klaarzetten heeft een datum voor herbeoordeling, en een klasse waarvan die datum verstrijkt, zakt een niveau. Autonomie waar een jaar lang niemand naar heeft gekeken, is toegekend aan een bedrijf dat in die vorm eigenlijk niet meer bestaat.

De meeste klassen komen in het midden uit

In de organisaties waar wij werken, eindigen de meeste klassen bij klaarzetten, uitvoeren na goedkeuring, of uitvoeren en rapporteren. Zelfstandig uitvoeren is zeldzaam. Dat bewaren we voor klassen waarin elke actie terug te draaien is en doorlopend wordt aangesloten, zoals het matchen van een bankregel met een openstaande post: elke fout komt bij de volgende aansluiting boven.

Dat is geen overdreven voorzichtigheid. De waarde van een agent zit zelden in het schrappen van de laatste seconde menselijke aandacht. Die zit in het lezen, controleren en voorbereiden, zodat de aandacht die overblijft kort is en goed wordt besteed. Een klasse op uitvoeren na goedkeuring, met een helder goedkeuringsverzoek, kost een beoordelaar seconden per geval. Wie die klasse naar zelfstandig uitvoeren verplaatst, wint die seconden en schrapt het enige moment waarop iemand zou merken dat de omstandigheden veranderen.

Twee dingen doen we niet. Eén schakelaar voor de autonomie van de hele agent, ook niet voor een pilot, omdat de beslissingen met de grootste gevolgen dan tegelijk met de makkelijkste een niveau hoger gaan. En klassen opwaarderen tijdens de afsluiting of in een piekseizoen, want een wijziging in autonomie is een proceswijziging. Die hoort live te gaan op een moment dat de mensen die een probleem zouden opmerken, daar ook tijd voor hebben.

Het antwoord aan de sponsor

Wanneer kunnen de goedkeuringen eraf? Voor sommige beslissingen nu, en dit is het bewijs. Voor andere na nog een maand aan gevallen. Voor sommige nooit, en dit is de reden.